AI 导读研究人员推出GlobeBench基准,包含5个领域、19种模拟技能的1632项任务,用于评估文本世界模型预测环境响应的能力。测试显示GPT-6 Astra成功率最高达49.57%,但当动作影响环境范围扩大时,模型平均成功率降至5.1%,631项任务无模型能解决,表明LLM作为世界模型存在显著能力差距。
AI 选稿理由GlobeBench首次为文本世界模型提供标准化评估基准,揭示了当前模型在复杂环境预测中的局限性,为改进方向提供明确指引。
AI 导读研究者提出一种无需训练的权重编辑方法,用于降低语言模型对特定不良指令的遵从度。该方法只需对每个目标行为的一小批提示对做前向计算,且编辑写入模型权重,提示词中删除或修改指令也无法撤销。在五种指令微调模型上针对“被指示说谎”和“被指示性别歧视”两类行为测试:在两个说谎基准上,诚实回答率比最强基线分别提高6.2和4.6个百分点,五种模型中有三种显著、另两种在噪声范围内;性别歧视回答率均值从57.9%降至24.3%,结合公平性提示进一步降至11.9%。
AI 选稿理由提出可直接作用于模型权重的免训练干预手段,无需微调即可降低对特定有害指令的遵从,且不能通过改写提示词绕过,可用于对齐加固与安全部署。
AI 导读论文提出Harness-Delta Attribution(HDA)评估协议,将Agent harness进化的搜索集性能提升拆分为产物过拟合、测试时扩展和残余可泛化改进。在11个执行模型和3个框架的21个显著提升设置中,过拟合与测试时扩展平均分别贡献54%和14%,14个设置中两者合计超50%。搜索集收益常无法迁移至留出任务,验证信号不足以防过拟合。
AI 选稿理由该研究提出可复用评估协议,量化了harness进化收益中过拟合与测试时扩展的占比,对Agent评测有方法参考价值,结论限于21个显著提升的实验设置。
AI 导读论文提出机制不确定性概念,用支撑模型回答的内部机制稳定性刻画不确定性,并定义因果鲁棒性边距——使模型输出偏离所需的最小内部干预,通过Jlens概念转向向量实现。在三个开源模型和五个问答数据集上,错误与不确定回答的边距更小,且该边距与基于输出的不确定性方法互补;受控知识注入实验中,正确习得的事实训练后边距增大。
AI 选稿理由提出因果鲁棒性边距这一机制层面的不确定性信号,在三个开源模型、五个问答数据集及受控知识注入实验中验证其与输出不确定性方法互补。
AI 导读针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,现有评估指标多沿用早期单向简单任务,难以适用。作者提出以事件为中心的评估框架:在事件层面拆解音频与视觉事件,独立分析后用跨模态关系交叉验证,再聚合成由粗到细的三级一致性指标,涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward,并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳,可给出定位失败的可解释依据,作为在线强化学习信号还能提升联合生成模型的音视频一致性。
AI 选稿理由为复杂音视频生成场景提供了可训练的一致性奖励模型,既能自动评判并定位不一致,也可作为强化学习信号直接改善生成质量。
AI 导读研究提出 ACT3D,不向视觉语言模型提供多视角图像、视频或3D表示,而是保持单张图像的原生视觉编码,将3D环境作为可交互空间,模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后,采用以最终答案正确性为主要奖励的强化学习,模型需自行学会探索策略。在六个3D基准上平均准确率53.2%,比基础Qwen模型高22个百分点,超过Gemini 3.6 Flash,且输入帧数减少50%–70%,在未见领域平均提升5.9%。
AI 选稿理由证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据,在需要大量探索的问题上相对基础模型提升16.3%,为3D空间中的具身问答与主动感知提供了可复用方法。
AI 导读论文提出Event-STVG任务,把时空视频定位从匹配实例描述转向事件级推理,统一长上下文、重复事件推理、事件定位、角色推断与多目标定位。作者构建含4,016个标注事件的基准,覆盖足球及另外七个领域;实验显示最强多模态大模型在10分钟时长上m-vIoU仅5.4%,且反复混淆同类型重复事件、空间定位薄弱、很少能同时定位全部所需角色。代码与标注已开源。
AI 选稿理由提出事件级时空定位新任务与4,016事件、八领域基准,给出最强MLLM在10分钟跨度仅5.4% m-vIoU的量化结果及三类失败模式,适用于视频理解评测研究。
AI 导读论文提出“双评委一致”的忠实性判定:需Lean编译通过,并由两个不同模型家族的LLM评委给出同意;在独立人工抽查中,该判定与人类多数意见的一致率为91.5%。对227条大学水平陈述、8个系统的测试显示,编译通过率与判定通过率相差1.3至29.5个百分点:工具增强智能体编译率为87.2%,但仅57.7%通过;人工复核其被拒案例后,确认29.5个百分点中有23.8个是真实翻译错误。对GPT-6 Astra和Claude Opus 5.5的拒绝案例,仅7%属翻译错误,多数是评委误判。
AI 选稿理由给出了可复用的人工验证忠实性准则,并用227条样本和8个系统量化“编译不等于忠实”,可作为形式化与LLM评委方法的参考。
AI 导读随着前沿编码智能体的发展,AI辅助软件工程的token成本显著增加。TokenEconomizer通过确定哪些操作微技能要注入、哪些持续无关的工具要修剪以及何时干预无效的失败循环,在Claude Code、Codex和GitHub Copilot CLI配合前沿模型的情况下,将平均token成本降低了18.4-30.9%,同时保持了可比的任务成功率。
AI 选稿理由TokenEconomizer通过自适应黑盒成本控制,有效降低了编码智能体在现实环境中的token成本,提高了token效率。
AI 导读研究团队提出Lean4AgenticRL框架,首次将多层次过程奖励统一到Lean4形式化架构中,解决了当前大型语言模型在强化学习中仅依赖高层结果奖励的问题。该框架构建了问题特定工作流系统,并使用工作流阶段归一化的GRPO算法提供多层次奖励,训练出的LAR-9B/27B模型在TerminalBench-2.1上达到77.3%准确率,比基线模型高9.89%,比同类最佳模型高5.07%。
AI 选稿理由首次将形式化方法与多层次奖励机制结合,显著提升了智能体在复杂软件工程和终端使用任务中的强化学习效果。