AI 导读AWS在vLLM推理引擎中引入基于推送的NIXL连接器,通过将KV传输协调工作移出关键路径,显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中,相比传统拉取模式,新技术使Qwen3-32B模型的TTFT提升最高达3倍,TPOT改善最高达30%。
AI 选稿理由解决了分布式推理中KV传输延迟瓶颈,使预填充和解码阶段可独立扩展,特别适合高请求率场景下的低延迟应用。
AI 导读AWS提出双向KV传输机制,解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存,避免重复计算历史上下文。在Amazon EC2 P5en实例测试中,Qwen3-32B模型TTFT提升1.6倍,zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中,支持GPU和Trainium实例。
AI 选稿理由解决了多轮代理工作负载中TTFT随对话增长而恶化的瓶颈,显著提升响应速度并减少计算资源消耗。
AI 导读研究提出 Bridged Self-Distillation(BSD)框架:外部教师只提供离线推理轨迹,作为特权上下文;学生模型自身在无上下文条件下生成 rollout,再由同一学生的上下文条件副本充当自教师,在学生自身词表空间为这些 rollout 打分,并结合验证器结果信号调整失败轨迹的更新。由于教师只需输出文本,该方法统一适用于共享词表、跨词表和闭源 API 教师场景,在各类场景中均优于基线和专用方法,代码已开源。
AI 选稿理由提出一种只依赖教师文本输出的统一在线蒸馏框架,覆盖跨词表和闭源API教师等此前需分别处理的情形,并公开代码,适用于研究蒸馏方法者参考。
AI 导读Jack Clark在IMF曼谷会议上发表演讲,认为AI已开始自主进行前沿科学研究,奇点已经到来。他列举了AI在数学、生物学、机器人学等领域的突破性进展,如AI解决理论物理问题得分98%超过人类专家。他预测这将加速科学进步,带来经济变革,但也需警惕风险。各国应建设基础设施以利用AI科学能力,同时制定规则确保安全。
AI 选稿理由AI已开始自主进行前沿科学研究,在多个学科取得突破性进展,将加速全球科学进步并带来经济变革,但也需警惕风险并制定相应规则。
AI 导读研究分析了两个扩散模型在10项任务中的表现,发现模型生成每个token所需的前向传递次数因任务而异:复制或轻度编辑文本成本低,开放式写作成本高。输出中相对于输入的新内容比例和词的稀有性是影响成本的关键因素。多语言生成中,高token化语言需要更多传递次数。此外,错误答案比正确答案需要更多传递,按解码速度加权候选答案比多数投票高4.2分。
AI 选稿理由研究揭示了扩散语言模型计算效率与输出内容创新度之间的关系,为优化推理效率和可靠性提供了实用信号。
AI 导读该研究系统探讨了物理递归自我改进(RSI)的机制、缩放行为和泛化能力。研究引入PhysRSI-eval评估框架,通过首次尝试性能、效率、成功率、预算和失败改进五个维度量化物理RSI,在18个操作任务中评估不同视觉语言模型(VLM)。实验结果提出"物理桶假设",即不同能力可能限制改进的不同部分。研究还从两个角度进行观测缩放分析:预测VLM代理的相对性能和基于早期物理反馈预测后续进展。
AI 选稿理由该研究首次系统量化了物理递归自我改进能力,提出物理桶假设,为AI体在物理世界中的自我改进机制提供了理论基础和评估框架。
AI 导读针对平面相机游戏世界模型中动作控制的空间一致性问题,研究者提出ActionRoPE参数化动作接口,将动作驱动的相机位移转换为世界坐标旋转位置,并引入坐标条件噪声调度(CNS)算法。该方法使遵循指令运动更准确,比最强基线减少66%的重访漂移,且可跨1.3B至33B参数的视频骨干模型及分布外场景迁移。
AI 选稿理由解决了平面相机游戏世界模型中动作控制的空间一致性问题,通过坐标表示和噪声调度显著提高了运动准确性和生成稳定性。
AI 导读研究团队推出MemT-1.0,一种将内存作为基础模型内在能力的新架构,采用Gated DeltaNet-2和Mixture-of-Storage技术。该模型家族包含MemT-1.0-Nano和MemT-1.0-Flash,在128K token历史长度下实现1.86倍推理加速和66倍存储减少,同时保持通用能力并提升智能体任务成功率。
AI 选稿理由MemT-1.0通过内存原生架构解决了长上下文处理的效率和存储瓶颈,为需要长期记忆的AI应用提供了实用解决方案。
AI 导读研究团队提出VerifierBench基准,包含来自6个代理基准的222个任务和4,993个隐藏测试案例,用于评估LLM代理生成可执行验证器的能力。测试显示19个模型的归一化平衡准确率在10.6%至62.1%之间,生成的验证器在拒绝无效解决方案方面比接受有效解决方案更可靠,但存在过度限制验证的问题。
AI 选稿理由提供了首个针对LLM代理验证器生成的基准测试,揭示了验证器在拒绝无效解决方案时的过度限制问题,为改进代理输出验证提供了新方法。
AI 导读论文评测4个模型家族的19个模型在8个多模态基准(9个评测切分)上的表现,每个模型回答29,386个问题,共558,334次模型-问题评测。逐题成对分析发现375个子任务-模型对组合呈逆向扩展,涉及4,342个独特查询(小模型答对而大模型答错),且在独立开发的架构间复现;13个子任务-数据集对跨多个家族出现逆向扩展,表明现象由任务驱动而非特定模型所致。受影响最严重的领域包括多图像空间推理、视觉感知和大学级STEM知识,部分准确率差距超过20个百分点,而图表理解相对稳健。
AI 选稿理由论文给出视觉语言模型在子任务层面逆向扩展的系统量化证据(19模型、558,334次评测、375个逆向扩展组合),并指出该现象跨架构复现、由任务驱动,提示模型选择应按任务区分。
AI 导读针对大型语言模型(LLM)代理在未知和动态环境中需要主动探索、理解和适应环境动态的问题,研究人员提出了AdaExploreBench,一个用于评估主动探索和测试时自适应能力的基准。实验表明,主动和自适应的探索仍然具有挑战性,当前LLM代理在获取正确证据和识别先前获取的证据不再有效方面存在瓶颈。
AI 选稿理由解决了LLM代理在动态环境中主动获取证据和适应环境变化的瓶颈,有助于提升LLM代理在复杂环境中的表现。
AI 导读本文提出了一种名为Vision-Language-Delta-Action(VLDA)的新范式,通过紧凑的Delta变量捕捉潜在的世界状态变化,作为视觉语言理解和动作生成之间的接口。VLDA通过统一目标学习Delta,包括局部过渡滤波器(LT-Filter)和全局过渡锚点(GT-Anchor),以改善长期一致性、鲁棒性和泛化能力。
AI 选稿理由VLDA通过紧凑的Delta变量捕捉潜在的世界状态变化,作为视觉语言理解和动作生成之间的接口,从而提高了机器人操作的长期一致性、鲁棒性和泛化能力。
AI 导读研究团队推出OpenDS任务和OpenDS-World基准,评估AI代理在真实开放网络环境中进行多步骤深度搜索的能力。该基准包含200个挑战性任务,涵盖多种信息模态、异构文件格式和交互访问要求。评估显示,最佳模型准确率为39.0%,而人类评估准确率为21.1%。研究揭示了模型在工具协调和长程搜索管理方面的持续挑战。
AI 选稿理由OpenDS-World提供了首个系统评估AI代理在真实开放网络环境中自主深度搜索能力的统一平台,包含200个多模态、异构格式的挑战任务,并揭示了当前模型在工具协调和长程搜索管理方面的显著差距。