AI 导读研究人员在复现POPE基准测试的幻觉缓解结果时发现,评估代码中的token选择会影响F1分数。通过分析9,000个问题,发现模型实际生成的是带空格前缀的"Yes"和"No"token,而非直接比较的"yes"和"no"token。这种评估方法导致LLaVA-1.5-7B在对抗分割上的F1分数提高了6.13点,超过多数报告的增益。研究还发现错误预测比正确预测获得更多图像注意力,与基于纠正的假设相反。
AI 选稿理由揭示了视觉语言模型评估中token选择对结果的关键影响,解决了评估方法不一致导致的性能比较难题,为研究人员提供了标准化的评估框架。
AI 导读论文指出基于自然语言评分标准的RL存在两类失效:分数因探索不足或难度不匹配而整体塌缩到高低一致,以及高分并不对应更好回答。HarnessRL通过任务采样、rollout引导和评分标准三个接口与策略共同演化,并用训练时记忆检索任务内外证据,由批评者在冻结策略上验证候选更新。在医疗、科学、写作、角色扮演和指令遵循五个领域的Rubric-Mix-10k上,4B和9B模型分别比最强基线高2.8至3.1分,达到最佳检查点的训练步数近乎减半。
AI 选稿理由提出可复用的rubric奖励失效归因与just-in-time更新验证方法,并附五领域数据集,在4B/9B规模上给出2.8至3.1分提升与训练步数减半的实验结果。
AI 导读研究团队构建统一数据管线,把机器人操作录像自动标注、并与多来源视觉数据一起转为可验证的定位监督,约150万样本微调Qwen3.5-9B得到ACE-Brain-0.6。在7项公开定位基准上,该模型以四项胜出、平均分75.41超过GPT-6 Astra的73.68;固定微调方案下,随训练数据覆盖更多定位场景,聚合成绩稳步提升。
AI 选稿理由开放9B模型以可验证空间定位监督在7项公开基准均分上超过GPT-6 Astra,且给出数据扩展与得分同步提升的受控结果,适用于具身操作的空间感知环节。
AI 导读研究团队提出InfiniDream框架,结合视觉语言模型与程序生成技术,实现了开放式的逼真3D世界生成。该框架包含符号约束资产生成和端到端文本到世界管道,可在保持可编辑性和多样性的同时创建新型资产,并通过语义场景规划和确定性视锥引导网格放置构建大规模3D世界。在100个对象和20个场景生成任务中,该框架在四个感知指标上表现优异。
AI 选稿理由解决了现有VLM引导的程序生成方法受限于预定义工厂和API的问题,使AI能够创建新型逼真3D资产和世界,适用于游戏开发和合成数据创建。
AI 导读研究团队推出RoboValue基准,通过共享接口评估机器人价值模型的四个互补能力维度:任务状态理解、时间进度监控、故障恢复推理和价值一致性。该基准包含15个模拟和20个真实操作任务,提供专家演示和标注轨迹。评估显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误,同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。
AI 选稿理由解决了机器人价值模型评估不全面的问题,提供首个覆盖模拟与真实环境的细粒度基准,帮助识别价值监督的具体目标。
AI 导读论文指出,Agent把规则、摘要等抽象经验存入外部记忆后,其中的错误会经检索复用传导到后续决策,并通过“抽象—执行—再抽象”循环被重新生成,作者称之为错误复现。为此提出Anti-Persistence:只累积轨迹与结果,任务指导按需即时合成、执行后即丢弃,由自适应选择器依据既往结果决定是否及如何合成。在多个基准与骨干模型上,该设计取得更高的留出任务成功率与最低的平均LLM调用成本。
AI 选稿理由论文提出Anti-Persistence记忆设计并给出跨基准、跨骨干模型的对比结果:留出成功率更高且平均LLM调用成本最低,适用于基于外部记忆自我改进的Agent。
AI 导读论文指出,当多个任务组合在同一提示中时,模型错误率显著上升,即使每个任务单独都能可靠完成,且错误无法用独立误差累积解释。在开源模型和Claude Opus 5上,作者发现模型在组合下每个任务分配的思考token明显少于单独完成时,即使序列远未超出上下文窗口;单独完成时需要更长解题轨迹的任务在组合下更易出错。利用这一隐式预算机制,按任务脆弱性分组可在数学和语言任务上减少43%的token使用并保持准确率。
AI 选稿理由论文提出组合任务下错误源于隐式思考预算而非误差累积的解释,并给出按脆弱性分组省43% token且保准确率的可复用方法,适用于多任务提示设计。
AI 导读研究人员提出Stateful Harness框架,将世界演化与视频渲染分离,支持基于规则的状态交互。通过维护 evolving world state 并使用冻结视频模型渲染事件,该框架在隐藏状态场景下实现了92%的规则合规率,显著优于现有方法。团队还构建了WorldState-Bench基准测试,包含50对反事实双胞胎样本用于评估。
AI 选稿理由解决了世界模型在隐藏状态场景下规则执行不稳定的瓶颈,为需要持久规则交互的应用提供了新框架
AI 导读研究者提出EMBER,分别折叠TCR与pMHC并编码为SE(3)不变残基图,在无共享坐标系下比较表示,因而不需预测对接复合物,避免结构放置误差传播。预处理复杂度由O(NM)降至O(N+M)。在表位不相交评测、六个重训基线及四种折叠工具下,EMBER的micro-AUROC、micro-AUPRC和MCC全部居首,排名跨工具稳定性最多提高85%。
AI 选稿理由提出无需对接复合物的TCR–pMHC结合预测框架,在表位不相交评测中于四种折叠工具下全面领先重训基线,并给出跨工具排名稳定性结果。
AI 导读该论文揭示了混合架构中不同混合器之间的竞争学习现象,现代递归层在检索功能学习上快于softmax注意力,导致注意力层难以学习检索功能。通过在训练中途停止递归层权重更新,可使注意力层成功学习检索功能。提出的分阶段训练方法在10亿参数模型上显著提升了语言建模损失、常识推理及多种检索相关任务性能。
AI 选稿理由解决了混合架构中不同混合器功能竞争的问题,提供了一种有效的分阶段训练方法,显著提升了混合模型在检索任务和语言建模中的性能。
AI 导读Hugging Face每日论文介绍Draft Refinement Language Models:单个去噪器从均匀损坏的草稿中重建每个token,学习保留与修复,并用一次前向计算得到的cavity energy筛选修改。在Countdown、Sudoku-Extreme、Maze-Hard上优于自回归和离散扩散基线;6M参数模型在Countdown-5达44.4%,Sudoku-Extreme达93.9%。
AI 选稿理由提出以完整草稿并行修正替代反向扩散的新推理方法,并给出在Countdown、数独和迷宫任务上的具体基准结果及6M参数模型表现。
AI 导读研究团队提出Heartbeat Thinking方法,允许语音代理在用户说话期间持续执行推理和工具调用,通过定期调用Thinker处理最新部分转录文本和已完成推理结果,解决传统方法因语音更新中断工具调用的问题。在SpeechFCEval、FDBench v3和AudioCRAG基准测试中,该方法比SHANKS基线模型提高工具覆盖率16个百分点,并将平均最终响应延迟降低36.4%。
AI 选稿理由Heartbeat Thinking通过保持语音期间的持续计算,将等待时间转化为可重用的准备工作,显著提升了语音代理的工具覆盖率和响应速度。
AI 导读现代文本到图像(T2I)系统使用大规模语言预训练进行文本条件图像生成。本文提出Halcyon,一种早期融合的多模态自回归模型,完全从零开始在GPIC数据集上预训练,该数据集包含100M图像-文本对。Halcyon-0.52B在预训练计算量上比LlamaGen-XL/8少18.2倍,性能优于后者。Halcyon-1.6B在预训练计算量上比JiT-T2I-XXL/8++少275倍,性能也优于后者。控制实验表明,仅文本预训练不会提高T2I生成。Halcyon通过替换caption dropout为I2T监督,在不增加预训练预算的情况下,也能保持有竞争力的T2I生成质量。研究表明,强大的T2I系统可以在没有互联网规模语言预训练的情况下从头开始训练。代码和模型可在https://cs.stanford.edu/~keshik/halcyon获取。
AI 导读论文指出,GUI代理若在每一步都均匀输入截图、音频、视频、交互历史和设备状态等全模态信息,无关信号会随步骤变化成为干扰,误差回传会造成“序列分心”和轨迹漂移。为此作者提出FocusGUI,以步骤特定的决策参考动态压缩最相关证据为隐表示,注入冻结解码器的嵌入,仅用动作监督训练。在四个全模态骨干上平均Type Match提升33.2、Exact Match提升3倍。
AI 选稿理由提出只有动作监督训练、无需相关性标注与骨干微调的轻量适配器,给出四个全模态骨干上的Type Match与Exact Match量化提升,属全模态GUI代理方法进展。
AI 导读研究显示,安全护栏分类器的性能主要取决于训练时采用的'不安全'定义,而非模型本身的能力。同一组提示使用两种不同定义标注后训练的模型,在相同架构下,安全基准得分差异可达23倍。仅0.03%的参数变化就能使基准分数跨越整个范围,验证准确率与标注者政策定义的一致性(rho=+0.74)远高于检测能力(rho=+0.34)。
AI 选稿理由揭示了安全评估中政策定义对模型性能的决定性影响,为AI安全基准测试提供了新的评估维度和改进方向。
AI 导读研究团队推出SPARC语料库,基于两个播客语料构建,包含12,500多名说话者、150万条高质量语音转录文本,并标注说话者性别、年龄和口音信息。研究评估了五种归因模型和三个大语言模型在身份和属性验证任务中的表现,发现大语言模型能仅通过文本区分同一说话者,并在性别和口音标签验证中表现优于随机水平。仅发布50词短文本可显著降低最强模型的识别能力。
AI 选稿理由SPARC语料库为语音匿名化研究提供了重要基准,揭示了转录文本中保留的说话者信息风险,为语音隐私保护提供了新思路。