跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#推理.

正在确认更新状态可见页面每分钟只读检查
10月17日周六
  1. The Decoder

    谷歌Gemini 4 Argon在ARC-AGI-3基准测试中得分97.5%

    AI 导读Google Deepmind的Gemini 4 Argon在ARC-AGI-3基准测试中得分97.5%,成为继OpenAI后第二个突破95%大关的实验室。但在标准测试环境中,其得分降至49.8%。该模型在数学和软件工程领域仍落后于竞争对手。

    AI 选稿理由Gemini 4 Argon在特定基准测试中接近人类水平,展示了谷歌在AI前沿领域的最新进展。

  2. Latent Space

    AINews:Modal 达 10 亿美元 ARR、完成 160 亿美元估值 D 轮;Gemini 4 Argon 等模型密集发布

    AI 导读本期 AINews 三条主线:一,Modal 跨过 10 亿美元年化收入并完成 7.5 亿美元 D 轮、估值 157.5 亿美元,用量一年增长超 15 倍;二,Google 大范围推送 Gemini 4 Argon,覆盖编码、金融、法律、网络安全与科研,并公布酶设计、机器人演示等结果,Neel Nanda 指出其可监控性显著低于以往模型;三,Meta Muse Wonder、Grok Voice 3.0、Ultramarine 1 Flash、DeepSeek V4.1 Flash 等模型与多项基准、Agent 安全事件同期落地。

    AI 选稿理由Gemini 4 Argon 是本期最关键的模型发布,公开了编码、科研与机器人能力数据,同时被评估为可监控性大幅下降、在简单破坏任务中约半数能绕过思维链+行为监控,直接影响依赖模型行为审计的开发者和安全团队。

  3. Latent Space

    AINews:Meta 开源 Muse Spark Open,Agent 分析挑战多义性假说

    AI 导读本期导读三条主线:Meta 发布 816B 总参/42B 激活的 MoE 开放权重模型 Muse Spark Open,1M 上下文并支持文本图像视频音频,AA 智能指数 39 居美国开源首位但落后 GLM-5.3;Goodfire 的 Nick Cammarata 提出“神经网络本来就很干净”,认为许多经典多义性案例可被更强的 agent 分析拆解;此外还有 NVIDIA Nemotron 3.5 Super VL、微软 MAI-Base-2、Gemini 4 Argon 评测,以及 SPACE 沙箱、TPUv7 推理基准等系统与安全研究。

    AI 选稿理由Muse Spark Open 是目前美国最强的开源权重模型,1M 上下文加多模态输入可用于编码与长程 agent,权重可在 4×Blackwell Ultra 或双 Mac Studio 上本地部署;Goodfire 的“已干净”论则给可解释性研究提供了可复用的 agent 分析路径。

  4. Hugging Face · 每日论文

    论文:用决策模型控制器替Agent做判断,成本升19%成功率不变

    AI 导读研究在Terminal-Bench 2.1上固定同一个Claude Sonnet 5.5终端Agent循环,只更换控制器。21项留出任务共315次试验中,由类型化决策模型Jev 1.13在确定性决策点作答,每次尝试成本上升19%,通过率同为73.0%。Jev比小LLM控制器便宜19%,但比按开发期选择频率采样的安慰剂贵22%。离线评估中Jev判断完成请求的AUROC为0.78,优于规则0.62和小LLM 0.60,但校准差:平均给出0.50完成概率时实际87%运行已通过,导致多余核验;所有控制器都未选择放弃运行。

    AI 选稿理由预注册对照实验给出了决策模型控制器增加成本却不提升成功率的可量化结果,并指出完成概率校准与干预无效这两个具体环节,适用于Agent控制层设计讨论。

  5. Hugging Face · 每日论文

    Axiomatic World Modeling:用公理化世界建模奖励减少物理推理漂移

    AI 导读论文把物理推理失败归因于「建模漂移」:模型在解题前会悄悄改动题给量、编造定律或塞入未说明的假设。作者提出 RLAWM,在训练时分别对建模层和求解层给出物理约束奖励,惩罚推断出的公理化世界与题目真实物理世界之间的偏离,不增加推理成本。相对基线,PhysReason 最高提升 12.2 分,PHYSICS 提升 5.2 分;在奥赛级物理与数学上实现零样本泛化,最高为最强基线的 2.45 倍、提升 10 分。

    AI 选稿理由提出可复用的双层奖励训练框架,并在 PhysReason、PHYSICS 及奥赛题上给出具体提升幅度,适用于物理推理训练研究,范围限于论文实验。

  6. Hugging Face · 每日论文

    HSPR:通过分层后验推理恢复软件代理基准分数

    AI 导读评估软件代理在完整基准上的成本高昂。小任务子集可以保留代理排名,但会得到不准确的成绩。历史响应提供了有用的结构,但具有相同源响应的任务对于新目标代理可能会有不同的结果。本文介绍了分层分数后验恢复(HSPR),它结合了源拟合响应因素和不确定的群体成功率。观察到的目标结果更新了目标潜在状态和群体率的后验;后验引导的获取选择后续任务。其基于分数的标准等于预期的一步减少全分数后验方差。观察到的成功和未查询任务的先验预测计数产生了全分数后验。最终估计使用其中位数与源选择的校准。在SWE-bench家族的四个任务库的10%任务预算下,HSPR在三个库中实现了最低的平均绝对误差(MAE),在所有四个库中实现了最低的最大绝对误差(MaxErr)。移除群体不确定性或替换自适应查询会增加相应控制中的宏MAE。随着预算的5-20%增加,宏MAE下降。

    AI 选稿理由HSPR通过分层后验推理提高了软件代理基准分数的评估效率,降低了评估成本,适用于需要高效评估软件代理的场景。

  7. Hugging Face · 每日论文

    Muse Glimmer 30B:面向消费级硬件的端侧Agent模型

    AI 导读Hugging Face每日论文介绍Muse Glimmer,一个带感知编码器的开源300亿参数因果语言模型,面向消费级硬件上的自主Agent任务。模型将多步推理、可靠工具调用与失败恢复整合在单一模型中,本地运行无需云端基础设施;接受文本与图像输入、输出文本,使用超百种语言数据训练,量化至约4-bit精度以支持单GPU高效推理。作者称其在同量级模型(Gemma4-31B、Qwen3.6-27B)的工具使用、多步规划与Agent任务完成基准上达到SOTA,以Apache 2.0许可发布。

    AI 选稿理由发布了一个Apache 2.0开源的30B端侧Agent模型,将多步推理、工具调用与失败恢复整合进单一模型,在消费级单GPU上以约4-bit量化本地运行,并在同量级Agent基准上报告超越Gemma4-31B与Qwen3.6-27B的结果。

  8. Hugging Face · 每日论文

    ECHO:超越辅助多令牌预测的高效因果自递归模型

    AI 导读研究人员提出ECHO方法,通过让骨干模型的最后一层直接预测所有时间范围,消除了传统多令牌预测(MTP)方法中需要额外模块和前向传播的成本。结合动态深度采样(DDS)技术,ECHO将未来预测融入自回归目标,在预训练中仅需一半的MTP训练开销即可提升下游推理和代码能力,推理时模型可自主扩展预测深度并保持高熵生成时的对齐优势。

    AI 选稿理由ECHO解决了多令牌预测方法计算效率低的问题,通过骨干模型直接预测和动态深度采样,大幅降低训练成本同时提升模型在推理和代码任务上的表现。

  9. Hugging Face · 每日论文

    UniAVC:通过渐进训练和非对称调度实现统一音视频创作

    AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题,采用分模态训练和独立噪声调度策略,实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善,无需任务特定适配器即可完成多种创作任务。

    AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制,通过创新训练策略实现了高效跨模态耦合,为多媒体内容创作提供了新范式。

  10. Hugging Face · 每日论文

    Design Anything:基于意图-执行图的设计代理框架

    AI 导读研究团队提出Design Anything框架,通过意图-执行图保存设计意图,将交付物与工作流步骤绑定。在19个设计领域的228项任务测试中,使用DeepSeek V4.1 Flash High和GPT-5.6 Sol High模型时,分别满足85.0%和92.5%的简报事实约束,超越同模型基线15.4%和14.4%。在24个工件的大规模任务中,提升幅度达25.1%和23.0%。专业设计师在盲测中更偏好该框架的完整交付物集。

    AI 选稿理由Design Anything框架通过意图-执行图显著提升设计代理在多领域、大规模项目中的约束满足率,适用于需要长期保持设计意图一致性的复杂设计任务。

  11. Hugging Face · 每日论文

    HybridResearcher:4B模型跨结构化与无结构数据推理提升30分

    AI 导读论文提出HybridResearcher,一个4B深研智能体,用已有单源任务(如text-to-SQL或网页搜索)围绕桥接实体合成缺失的另一源数据,并仅在严格校验确认单源不足时保留样本,再经监督微调与强化学习训练。在HybridDeepResearch基准上,pass@8比基座Qwen3.5-4B高30.0分,超Qwen3.5-397B-A17B 8.3分;在BrowseComp与BrowseComp-Plus上亦优于基座,未现灾难性遗忘。

    AI 选稿理由给出用单源任务合成跨源桥接训练数据的可复用方法,并在HybridDeepResearch上以4B模型取得具体分数提升,适用跨结构化与无结构证据的深度研究智能体训练。

  12. Hugging Face · 每日论文

    Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

    AI 导读针对小型语言模型(SLM)代理在长交互轨迹中出现的进展停滞问题,研究者提出Progress-Aware Distillation(ProD)方法。该方法通过检测和惩罚学生模型生成的停滞轨迹,将停滞差距编码为自适应边界,动态防止无效循环。实验表明,ProD在8个0.6B至8B参数的SLM上显著提升了任务成功率和完成效率。

    AI 选稿理由解决了SLM代理在长任务中的进展停滞瓶颈,使小型模型能更高效地完成复杂任务,适用于资源受限场景。

10月16日周五
  1. The Batch · AI 研究与应用

    The Batch 第375期:Claude Haiku 5.5 与 Mistral Large 4 发布,本地 AI 硬件与数据配比研究

    AI 导读本期主要围绕三条线索:Anthropic 发布 Claude Haiku 5.5 并回顾 Sonnet 5.5,独立评测显示 Haiku 5.5 智能指数 43 排第 13、速度最快,但成本与延迟随推理等级大幅变化;Mistral 发布 1.05 万亿参数 MoE 模型 Large 4 的 API 预览,在 CyberGym-E2E-AA 上以 82% 居公开模型首位,权重将随后开放;Apple、Nvidia、Microsoft 推出面向本地 AI 的桌面与笔记本,Tom's Hardware 用 AgentPerf-Local 测试表明 Nvidia 硬件快于 Apple 与 AMD。此外,清华、蚂蚁与人大提出 CausalMix,用因果方法将数据配比与数据质量分离来优化微调数据选择。

    AI 选稿理由Mistral Large 4 成为中美国之外最强开源权重候选并在漏洞修复任务领先,Claude Haiku 5.5 刷新速度与价格结构,本地硬件与 CausalMix 分别为端侧部署和数据配比提供了可复用的量化参考。

  2. Hugging Face · 每日论文

    DLite:面向 Agentic AI 的无历史投机解码框架

    AI 导读论文指出,Agent 场景下上下文长且持续演化、多轮交互频繁,现有草稿模型接受长度最多下降 80%,维护历史 KV 缓存也带来大量系统开销。DLite 直接复用目标模型的上下文隐藏状态做局部投机预测,不再显式维护历史上下文,并用轻量顺序头恢复块内因果依赖,配合两阶段训练。在通用、长上下文与 Agent 负载上实现 2–6 的接受长度,比 SOTA 方法 DSpark 最高提升 70%。

    AI 选稿理由把 Agent 长上下文下的投机解码从“维护历史”变成“复用目标模型隐藏状态做局部预测”,在通用、长上下文和 Agent 负载上把接受长度提升到 2–6、较 DSpark 最高提升 70%,可用于降低多轮 Agent 推理的延迟与显存开销。

  3. Hugging Face · 每日论文

    Harnessing Textual Refusal Directions for Multimodal Safety

    AI 导读研究提出Modality-Agnostic Refusal Steering (MARS)方法,通过从LLM骨干网络提取文本拒绝方向实现多模态安全,无需收集多模态安全数据。MARS通过激活中心化、自适应调整引导强度和选择最佳干预层,在五种SOTA多模态大模型上提升了安全性,同时保持实用性。

    AI 选稿理由解决了多模态大模型安全数据收集困难的问题,提供了一种无需多模态安全数据的轻量级安全增强方法。

  4. Hugging Face · 每日论文

    什么是混合离散-连续规划的良好符号?

    AI 导读研究提出基于求解器充分性的符号化方法,通过反例引导算法发明符号,在分段仿射系统和神经网络优化目标中验证,可降低求解成本并保持解质量,同时提升可解释性和可控性。

    AI 选稿理由提出求解器充分性符号化概念及反例引导算法,适用于机器人规划和连续优化问题。

  5. TLDR AI · 前沿简报

    TLDR AI 前沿简报 2026-10-16:Muse Spark Open 开源模型、微软 MAI-Base-2 预训练栈与开放权重占比

    AI 导读本期头条包括:Muse Spark Open 为 816B 参数(激活 42B)、100 万 token 上下文的多模态开放权重模型,面向编码与长周期 Agent 任务,可在两台 Apple M5 Ultra Mac Studio 上用 MLX 本地运行;微软详解 2.8T 参数 MoE 模型 MAI-Base-2 的训练栈,称其在留出预训练评测中超过所有开放权重模型,并计划通过 Foundry 提供企业服务;Liquid AI 发布 d1-ultra 多模态决策模型,定价每百万输入 token 0.042 美元。另有多篇深度分析、Nvidia Nemotron 3.5 Super VL、Krea 3、FLUX 3 Image Klein 等工程与模型进展,以及开放权重模型已占网关超七成 token 和近四分之一花费的统计数据。

    AI 选稿理由Muse Spark Open、微软 MAI-Base-2 训练栈、Liquid d1-ultra 与 Nvidia Nemotron 3.5 Super VL 等集中发布,覆盖长上下文 Agent、企业级前沿模型与低成本决策模型,为开发者和企业提供新的开放权重与 API 选项。

  6. Hugging Face · 每日论文

    基于能力的逻辑推理评测:GPT与Qwen六款模型在排序任务上未通过能力一致性检验

    AI 导读论文提出能力基评测(CBE)范式,用参数化生成器在固定所需能力的前提下扩展复杂度,并用答案保持不变的表述变体检验模型是否可靠应用同一能力。在小学排序任务上对六款GPT和Qwen模型测试:有界复杂度范围内表现尚好,但强模型在测试问题族上均未通过能力条件;思维链和GRPO能扩展强表现但未解决全部失败,监督LoRA在留出集上迁移很少。

    AI 选稿理由提出可随模型扩展的能力一致性评测协议,在六款GPT/Qwen排序任务上给出诊断结果,并报告CoT、GRPO与LoRA的对比效果。

  7. Hugging Face · 每日论文

    Transformer的条件无毛定理:语言模型如何遗忘提示词

    AI 导读研究显示,自回归Transformer模型在生成t个token后,提示词对隐藏状态的影响呈幂律衰减t^{-α},训练后的模型遗忘较快(α≈0.55-0.7),未训练模型遗忘较慢(α≈0.2-0.5)。研究证明了有限深度预归一化softmax Transformer的遗忘界限,并提出了'条件无毛定理':随着生成文本增长,提示词对下一个token的影响会消失,任何保留的提示词属性必须由文本本身携带。

    AI 选稿理由揭示了Transformer模型中提示词遗忘的数学机制,为理解语言模型记忆特性提供了理论基础,有助于改进提示工程和模型设计。

  8. Hugging Face · 每日论文

    Huginn 架构新研究:循环模型设计需解耦拓扑、输入注入与循环状态

    AI 导读该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦,在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优,输入注入主要提升知识检索与上下文利用,随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下,完整 Huginn 架构在全部十项基准上超过 Ouro,且该优势可迁移到 MoE 模型。

    AI 选稿理由为循环模型设计提供了可复用的解耦实验结论:Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线,并覆盖知识、推理和编码任务。

  9. Hugging Face · 每日论文

    语言模型学习改进语言模型

    AI 导读研究提出LM2LM方法,通过强化训练大语言模型生成有效的语言模型改进方案。使用研究世界模型(RWM)提供可扩展反馈,并定期执行高排名提案以保持反馈可靠性。在八个自回归和扩散语言模型开发环境中,LM2LM使Qwen3.8-27B超越GPT-6-sol,即使后者拥有300个真实实验记录,且数据生成成本降低33%。该方法还能推广到训练期间未见过的模型家族。

    AI 选稿理由LM2LM实现了语言模型自我改进的高效方法,通过研究世界模型降低数据生成成本33%,并在多种模型开发环境中超越现有模型。

  10. Hugging Face · 每日论文

    QD-Rec:通过质量多样性实现推荐系统的开放式进化

    AI 导读研究人员提出QD-Rec方法,将开放式搜索与基础模型结合应用于推荐系统,为决策者提供多样化且高质量的推荐选项,每个选项附带自然语言解释。该方法在并购、客户目标定位及论文书籍推荐等场景中,多数情况下实现了最高的平均质量并构建了最大的推荐档案库。

    AI 选稿理由QD-Rec解决了传统推荐系统仅提供单一排序列表的局限,为高风险决策场景提供了多样化且附带解释的推荐选项,提升了决策质量。

  11. Hugging Face · 每日论文

    TreeOPSD:面向长程智能体强化学习的树感知后验自蒸馏框架

    AI 导读论文提出 TreeOPSD,一种无需 critic、树感知的后验自蒸馏框架,用于长程智能体强化学习。该方法将每个交互轮视为树节点,从共享前缀分支出替代延续,并递归地把终端奖励回传为隐式轮级信用,再映射为以相对冻结行为策略似然比为参数的闭式有界教师分布。实验显示其在多个基准和模型规模上提升智能体能力,Qwen3-30B-A3B-Thinking-2507 在 Deep Research 设置下平均准确率较 GRPO 提升 4.97 分。

    AI 选稿理由为长程智能体 RL 提供了无需价值网络和步骤标注的轮级信用分配方法,并用有界教师分布约束多轮小批量更新,可用于提升深度研究等长程任务的训练稳定性与效果。

  12. Hugging Face · 每日论文

    MIST 评测揭示视频世界模型记忆失败主因:未执行指令而非遗忘

    AI 导读研究者提出 MIST 评测,将“场景设置”与“应留下的记忆”分开检验,发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更,而非遗忘。基于此提出 M3-Agent(Make the Missing Move),递归改写输入指令细节以促使模型执行指令,其 MIST reveal 得分相比基线提升三倍以上,WRBench 的 T 分数提升 26.1%,MBench-T 的 U 分数提升 52.7%。

    AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断,并给出可递归改写指令的 M3-Agent,使冻结模型在既有基准上显著提升,为世界模型评测与提示设计提供了可复用方法。

  13. Hugging Face · 每日论文

    研究:给LLM补上答案首词,可纠正最多一半的闭卷问答错误

    AI 导读研究者提出 First-Token Cueing 行为探针:闭卷问答时先补上标准答案的第一个 token。在16个开源模型上,这一步可纠正英文多token答案错误的两成到五成,并在7种语言基准上普遍提升准确率。分析显示模型不确定性在首个答案 token 处最高,且已能预测对错;被纠正的错误大多也能由模型自行采样推理解出。

    AI 选稿理由论文提出可复用的推理时探针,并在16个开源模型和7种语言上给出首token纠错比例及与自采样推理的一致性证据,适用于研究闭卷事实召回失败。

  14. MIT News · AI 与行业突破

    MIT 团队发布 IRIS 模型,解码细胞间信号传导历史

    AI 导读MIT 与 Whitehead 研究所团队在 Nature Methods 发表研究,提出机器学习模型 IRIS。该模型可识别不同信号通路在基因活动上留下的独特“指纹”,且同一通路在不同细胞类型中指纹一致,从而无需逐一细胞类型实验即可推断细胞在胚胎发育各阶段接收的信号。IRIS 在小鼠原肠胚单细胞数据上准确预测了心脏、肠道、肌肉和脊髓相关信号通路,并成功预测驱动肺细胞发育的通路,经小鼠实验验证。

    AI 选稿理由该模型用迁移学习思路统一识别跨细胞类型的信号通路指纹,可在小鼠或人类胚胎尺度重建细胞信号历史,为干细胞工程、类器官建模与肺纤维化等疾病研究提供可复用的推断工具。

  15. Microsoft Research66

    微软研究院发布 Magnetar:基于证明的通用计算 zkVM

    AI 导读微软研究院发布 Magnetar,一个通用零知识虚拟机(zkVM),可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍,证明验证约 12 毫秒。

    AI 选稿理由微软研究院公开 Magnetar 的设计与基准数据,可了解零知识证明在通用程序上的效率与安全取舍。

10月15日周四
  1. Hugging Face · 每日论文

    基于网页语义保障智能体浏览交互安全的研究

    AI 导读研究人员提出Intact系统,通过GenTree表示法捕获网页来源和语义,逐元素传递给LLM处理,防止第三方注入攻击。在1,270个真实网页测试中,GenTree识别的第三方元素数量是浏览器的2.3倍;在1,091个注入攻击测试中,Intact仅让12.8%的攻击通过,而传统规划器为73.1%,且仅3.7%的任务因隔离功能受损。

    AI 选稿理由解决了AI智能体浏览网页时易受第三方内容欺骗的安全瓶颈,通过语义隔离大幅降低攻击成功率,适用于需要代理用户浏览网页的AI应用。

  2. Hugging Face · 每日论文

    训练推理模型生成多样化科学创意

    AI 导读研究提出了一种基于文档的创意生成方法,通过集合级强化学习训练模型生成高质量且多样化的科学创意。实验显示,其8B模型在创意质量和多样性综合指标上超越Claude Opus 4.8和GPT-6 Astra,人类专家评估显示其创意集与Claude Opus相当且包含更多独特创意,执行成功率相当。

    AI 选稿理由解决了科学创意生成中质量与多样性难以兼顾的瓶颈,为研究人员提供更高效的创意生成工具。

  3. Hugging Face · 每日论文

    PremiseCheck:用大模型改写加轻量判定模型,低成本核查同行评审事实错误

    AI 导读针对投稿量增长导致同行评审中人类或AI评论可能误述论文内容的问题,研究者提出ReviewFact基准,在NLP、机器学习与自然科学领域统一标注评审评论中的事实错误,并同时测量准确率、成本与延迟。其PremiseCheck框架先用LLM在不读论文的情况下将每条评论改写为显式前提,再用轻量判定模型逐条对照论文核查。单条评论独立核查时,PremiseCheck在三个领域达到与GPT-5.5相当的准确率而成本约为其一半;在NLP评审上成本约为四分之一、延迟不到一半。

    AI 选稿理由把昂贵的前沿模型整篇核查拆成“改写前提+轻量判定”,在保持准确率的同时把评审事实核查成本降至约一半甚至四分之一,可用于大规模投稿场景的自动化评审质量筛查。

  4. Hugging Face · 每日论文

    Librarian Agents:训练LLM构建可预测未来查询的长上下文工作空间

    AI 导读研究提出Librarian Agents框架,通过强化学习训练构建代理将原始文档转化为分层文件系统,形成面向下游回答代理的工作空间。在BrowseComp-Plus基准上超越最强检索和预计算基线33个百分点,在BRIGHT数据集上零样本泛化能力提升31个百分点,显著提升长文档推理效率。

    AI 选稿理由解决了长文档推理中检索方法被动响应和预计算结构僵化的瓶颈,使LLM能主动组织文档以服务多样化未来查询。

  5. Hugging Face · 每日论文

    GlobeBench: 评估文本世界模型在可扩展环境模拟中的能力

    AI 导读研究人员推出GlobeBench基准,包含5个领域、19种模拟技能的1632项任务,用于评估文本世界模型预测环境响应的能力。测试显示GPT-6 Astra成功率最高达49.57%,但当动作影响环境范围扩大时,模型平均成功率降至5.1%,631项任务无模型能解决,表明LLM作为世界模型存在显著能力差距。

    AI 选稿理由GlobeBench首次为文本世界模型提供标准化评估基准,揭示了当前模型在复杂环境预测中的局限性,为改进方向提供明确指引。

  6. Hugging Face · 每日论文

    First Passage Attention:用路径极值替代累积衰减,实现选择性遗忘与长度外推

    AI 导读论文提出 First Passage Attention(FPA),将遗忘门从沿键-查询路径累加衰减改为路径极值:根据学习到的标量场在区间内的最深下探,按比例降低键的 logit,从而选择性擦除中间上下文而保留更早的相关 token。FPA 将 Forgetting Transformer(FoX)作为特例;在合成实验中,单层 FPA 头能收敛到目标键集合,而 softmax 和 FoX 基线在每个随机种子上都失败;在 1.1 亿参数语言模型上,FPA 困惑度与 FoX 持平,并在 8 倍训练长度下唯一实现完美 passkey 检索,键值缓存压缩至约 25% 时仍有效。

    AI 选稿理由提出用路径极值替代路径求和的注意力遗忘机制,在合成任务和 1.1 亿参数语言模型上验证了选择性遗忘与训练长度 8 倍的 passkey 检索能力,适用于长上下文研究。

  7. Hugging Face · 每日论文

    LIBERO-Industry:在工业流程约束下评估机器人操作的新基准

    AI 导读针对灵活制造中的工业操作,如高混合、低批量(HMLV)电子产品组装,研究人员提出了LIBERO-Industry,一个基于LIBERO的新基准,用于评估机器人策略在工业流程约束下的表现。该基准包含三个经典任务场景,并通过实验表明,随着工业约束的引入和组合,性能逐渐下降。

    AI 选稿理由LIBERO-Industry通过将工业流程约束转化为可控制的任务条件和可测量的成功标准,为评估机器人策略在工业环境下的表现提供了新的基准。

  8. Hugging Face · 每日论文

    Harness-Delta Attribution:拆解Agent框架进化收益,54%来自过拟合

    AI 导读论文提出Harness-Delta Attribution(HDA)评估协议,将Agent harness进化的搜索集性能提升拆分为产物过拟合、测试时扩展和残余可泛化改进。在11个执行模型和3个框架的21个显著提升设置中,过拟合与测试时扩展平均分别贡献54%和14%,14个设置中两者合计超50%。搜索集收益常无法迁移至留出任务,验证信号不足以防过拟合。

    AI 选稿理由该研究提出可复用评估协议,量化了harness进化收益中过拟合与测试时扩展的占比,对Agent评测有方法参考价值,结论限于21个显著提升的实验设置。

  9. Hugging Face · 每日论文

    PhysClosureBench:评测AI Agent能否完成可证据支撑的物理研究

    AI 导读研究者提出 PhysClosureBench,含 50 个专家验证、目标明确的研究任务,覆盖强场、阿秒及邻近物理领域。评测用 20 项 Atomic Score 衡量局部科学成果,用 Research Closure(RC0–RC4)判断是否满足必要证据与适用范围条件。Claude-Opus-5 平均 Atomic Score 最高(6.29/10),但仅 32.7% 的尝试达到 RC4;得分≥8/10 的尝试中仍有 36.2% 未达 RC4,七款前沿模型在三次运行中均明显少于至少一次运行达到 RC4 的任务数。

    AI 选稿理由给出了衡量 AI Agent 能否把研究推进到“有证据支撑的完整结论”的基准与失败模式分析,可供做科研 Agent、自动实验与证据验证的团队直接用来诊断瓶颈。

  10. Hugging Face · 每日论文

    通过因果鲁棒性度量大语言模型的机制不确定性

    AI 导读论文提出机制不确定性概念,用支撑模型回答的内部机制稳定性刻画不确定性,并定义因果鲁棒性边距——使模型输出偏离所需的最小内部干预,通过Jlens概念转向向量实现。在三个开源模型和五个问答数据集上,错误与不确定回答的边距更小,且该边距与基于输出的不确定性方法互补;受控知识注入实验中,正确习得的事实训练后边距增大。

    AI 选稿理由提出因果鲁棒性边距这一机制层面的不确定性信号,在三个开源模型、五个问答数据集及受控知识注入实验中验证其与输出不确定性方法互补。

  11. Hugging Face · 每日论文

    SciΠvot:用248个案例基准测试科研智能体在关键节点上的科学判断力

    AI 导读研究者构建了 SciΠvot 基准,包含 248 个基于人类纠错记录的案例,来自高级研究员六个月内在 26 个科研项目、六个学科方向上对 LLM 智能体的反复干预。每个案例让模型在原始 LLM 方案与人类修正方案之间选择,且只能用纠错前的项目记录作为上下文。结果显示,在中等推理强度并提供项目记录时,模型系统性地偏好原始 LLM 方案;五个前沿模型中四个在所选案例上低于随机水平,最高准确率为 63.5%,而新手研究员为 73.4%。中等强度下,所有模型带项目记录的准确率反而低于不带记录,重新考虑也未持续提升整体准确率。

    AI 选稿理由该基准首次用真实科研纠错记录系统评测 LLM 智能体的科学判断力,揭示前沿模型在关键研究决策上仍弱于人类,为自主科研智能体的评估与改进提供了可复用的测试集和方法。

  12. Hugging Face · 每日论文

    GeoState:实现视角解耦几何状态的三维世界建模

    AI 导读研究者提出 GeoState,一种面向预测式三维世界建模的视角解耦几何表示。它利用场景 tokenizer 将多视角几何基础模型(GFM)特征聚合为解耦的场景状态,几何解码器再以相机射线查询,从而把场景状态演化与相机运动分开建模。实验显示,GeoState 在 Waymo 上优于既有三维世界模型,支持跨视角一致查询,并可零样本泛化到 KITTI 和 nuScenes,rollout 过程中无需逐帧尺度对齐。

    AI 选稿理由把相机视角变化从场景状态中剥离,解决了 GFM 特征视角依赖导致动力学难以预测的瓶颈,可提升自动驾驶等场景下三维世界模型的可预测性与跨数据集泛化能力。