AI 导读HarnessPro是一种无标签方法,通过递归自改进优化Harness,在提升任务性能的同时降低执行成本。该方法使用LLM生成的测试评估候选Harness,通过专业代理诊断执行轨迹并规划更新,提供轻量、平衡和高性能三种模式。实验显示,在多个基准测试中,HarnessPro的高性能模式相比RHO方法平均通过率提升2.0个百分点,单任务成本降低26.1%。
AI 选稿理由解决了Harness开发中的性能与成本权衡问题,为不同预算场景提供优化方案,显著降低AI代理执行成本。
AI 导读Anthropic承诺将5%股权用于公共利益基金,支持AI对经济和劳动力的影响;OpenAI测试新Aurora图像模型;Anthropic报告初级技术招聘比例下降,员工使用Claude提高生产力但监督工作增加;DeepSeek发布Search & Fetch API和DeepSeek-V4.1-Flash-1017模型;Replit将默认AI提供商更换为OpenAI;Stack Overflow for Agents通过ChatGPT插件实现用户量三倍增长;Qualcomm预测2028年手机将运行1000亿参数模型。
AI 选稿理由Anthropic设立首个AI公共利益基金,DeepSeek-V4.1-Flash-1017显著提升推理与编码能力并降低KV缓存占用,Replit和Stack Overflow的AI集成实践展示产业应用变化。
AI 导读研究团队提出MMedAgent-Plus,用视觉语言规划器统一调度18个专科模型,覆盖12项任务、8种模态。规划器在32个公开医疗基准的208,928个样本上指令微调;单工具多轮、多工具多轮、多工具单轮的调用准确率分别为91.0%、98.1%、80.7%。端到端在7项任务的350例中正确调用专科模型占90.6%,最终答案准确率0.98,最强基线为0.28。
AI 选稿理由给出多模态医疗Agent的工具调用准确率与端到端结果,并保留评测任务、样本量和基线对照,可作为医疗Agent工具编排的参考数据。
AI 导读研究人员在复现POPE基准测试的幻觉缓解结果时发现,评估代码中的token选择会影响F1分数。通过分析9,000个问题,发现模型实际生成的是带空格前缀的"Yes"和"No"token,而非直接比较的"yes"和"no"token。这种评估方法导致LLaVA-1.5-7B在对抗分割上的F1分数提高了6.13点,超过多数报告的增益。研究还发现错误预测比正确预测获得更多图像注意力,与基于纠正的假设相反。
AI 选稿理由揭示了视觉语言模型评估中token选择对结果的关键影响,解决了评估方法不一致导致的性能比较难题,为研究人员提供了标准化的评估框架。
AI 导读论文指出基于自然语言评分标准的RL存在两类失效:分数因探索不足或难度不匹配而整体塌缩到高低一致,以及高分并不对应更好回答。HarnessRL通过任务采样、rollout引导和评分标准三个接口与策略共同演化,并用训练时记忆检索任务内外证据,由批评者在冻结策略上验证候选更新。在医疗、科学、写作、角色扮演和指令遵循五个领域的Rubric-Mix-10k上,4B和9B模型分别比最强基线高2.8至3.1分,达到最佳检查点的训练步数近乎减半。
AI 选稿理由提出可复用的rubric奖励失效归因与just-in-time更新验证方法,并附五领域数据集,在4B/9B规模上给出2.8至3.1分提升与训练步数减半的实验结果。
AI 导读研究团队推出RoboValue基准,通过共享接口评估机器人价值模型的四个互补能力维度:任务状态理解、时间进度监控、故障恢复推理和价值一致性。该基准包含15个模拟和20个真实操作任务,提供专家演示和标注轨迹。评估显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误,同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。
AI 选稿理由解决了机器人价值模型评估不全面的问题,提供首个覆盖模拟与真实环境的细粒度基准,帮助识别价值监督的具体目标。
AI 导读论文指出,Agent把规则、摘要等抽象经验存入外部记忆后,其中的错误会经检索复用传导到后续决策,并通过“抽象—执行—再抽象”循环被重新生成,作者称之为错误复现。为此提出Anti-Persistence:只累积轨迹与结果,任务指导按需即时合成、执行后即丢弃,由自适应选择器依据既往结果决定是否及如何合成。在多个基准与骨干模型上,该设计取得更高的留出任务成功率与最低的平均LLM调用成本。
AI 选稿理由论文提出Anti-Persistence记忆设计并给出跨基准、跨骨干模型的对比结果:留出成功率更高且平均LLM调用成本最低,适用于基于外部记忆自我改进的Agent。
AI 导读论文指出,当多个任务组合在同一提示中时,模型错误率显著上升,即使每个任务单独都能可靠完成,且错误无法用独立误差累积解释。在开源模型和Claude Opus 5上,作者发现模型在组合下每个任务分配的思考token明显少于单独完成时,即使序列远未超出上下文窗口;单独完成时需要更长解题轨迹的任务在组合下更易出错。利用这一隐式预算机制,按任务脆弱性分组可在数学和语言任务上减少43%的token使用并保持准确率。
AI 选稿理由论文提出组合任务下错误源于隐式思考预算而非误差累积的解释,并给出按脆弱性分组省43% token且保准确率的可复用方法,适用于多任务提示设计。
AI 导读研究人员提出Stateful Harness框架,将世界演化与视频渲染分离,支持基于规则的状态交互。通过维护 evolving world state 并使用冻结视频模型渲染事件,该框架在隐藏状态场景下实现了92%的规则合规率,显著优于现有方法。团队还构建了WorldState-Bench基准测试,包含50对反事实双胞胎样本用于评估。
AI 选稿理由解决了世界模型在隐藏状态场景下规则执行不稳定的瓶颈,为需要持久规则交互的应用提供了新框架
AI 导读该论文揭示了混合架构中不同混合器之间的竞争学习现象,现代递归层在检索功能学习上快于softmax注意力,导致注意力层难以学习检索功能。通过在训练中途停止递归层权重更新,可使注意力层成功学习检索功能。提出的分阶段训练方法在10亿参数模型上显著提升了语言建模损失、常识推理及多种检索相关任务性能。
AI 选稿理由解决了混合架构中不同混合器功能竞争的问题,提供了一种有效的分阶段训练方法,显著提升了混合模型在检索任务和语言建模中的性能。
AI 导读Hugging Face每日论文介绍Draft Refinement Language Models:单个去噪器从均匀损坏的草稿中重建每个token,学习保留与修复,并用一次前向计算得到的cavity energy筛选修改。在Countdown、Sudoku-Extreme、Maze-Hard上优于自回归和离散扩散基线;6M参数模型在Countdown-5达44.4%,Sudoku-Extreme达93.9%。
AI 选稿理由提出以完整草稿并行修正替代反向扩散的新推理方法,并给出在Countdown、数独和迷宫任务上的具体基准结果及6M参数模型表现。
AI 导读研究团队提出Heartbeat Thinking方法,允许语音代理在用户说话期间持续执行推理和工具调用,通过定期调用Thinker处理最新部分转录文本和已完成推理结果,解决传统方法因语音更新中断工具调用的问题。在SpeechFCEval、FDBench v3和AudioCRAG基准测试中,该方法比SHANKS基线模型提高工具覆盖率16个百分点,并将平均最终响应延迟降低36.4%。
AI 选稿理由Heartbeat Thinking通过保持语音期间的持续计算,将等待时间转化为可重用的准备工作,显著提升了语音代理的工具覆盖率和响应速度。
AI 导读现代文本到图像(T2I)系统使用大规模语言预训练进行文本条件图像生成。本文提出Halcyon,一种早期融合的多模态自回归模型,完全从零开始在GPIC数据集上预训练,该数据集包含100M图像-文本对。Halcyon-0.52B在预训练计算量上比LlamaGen-XL/8少18.2倍,性能优于后者。Halcyon-1.6B在预训练计算量上比JiT-T2I-XXL/8++少275倍,性能也优于后者。控制实验表明,仅文本预训练不会提高T2I生成。Halcyon通过替换caption dropout为I2T监督,在不增加预训练预算的情况下,也能保持有竞争力的T2I生成质量。研究表明,强大的T2I系统可以在没有互联网规模语言预训练的情况下从头开始训练。代码和模型可在https://cs.stanford.edu/~keshik/halcyon获取。
AI 导读研究显示,安全护栏分类器的性能主要取决于训练时采用的'不安全'定义,而非模型本身的能力。同一组提示使用两种不同定义标注后训练的模型,在相同架构下,安全基准得分差异可达23倍。仅0.03%的参数变化就能使基准分数跨越整个范围,验证准确率与标注者政策定义的一致性(rho=+0.74)远高于检测能力(rho=+0.34)。
AI 选稿理由揭示了安全评估中政策定义对模型性能的决定性影响,为AI安全基准测试提供了新的评估维度和改进方向。
AI 导读研究团队推出SPARC语料库,基于两个播客语料构建,包含12,500多名说话者、150万条高质量语音转录文本,并标注说话者性别、年龄和口音信息。研究评估了五种归因模型和三个大语言模型在身份和属性验证任务中的表现,发现大语言模型能仅通过文本区分同一说话者,并在性别和口音标签验证中表现优于随机水平。仅发布50词短文本可显著降低最强模型的识别能力。
AI 选稿理由SPARC语料库为语音匿名化研究提供了重要基准,揭示了转录文本中保留的说话者信息风险,为语音隐私保护提供了新思路。