跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

推理能力

全部主题
主题资料

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

226 篇文章

最新文章

第 101–120 条 · 共 226 条
10月20日周二
  1. AWS Machine Learning Blog

    AWS推出基于推送的KV传输技术,提升vLLM推理的TTFT和TPOT性能

    AI 导读AWS在vLLM推理引擎中引入基于推送的NIXL连接器,通过将KV传输协调工作移出关键路径,显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中,相比传统拉取模式,新技术使Qwen3-32B模型的TTFT提升最高达3倍,TPOT改善最高达30%。

    AI 选稿理由解决了分布式推理中KV传输延迟瓶颈,使预填充和解码阶段可独立扩展,特别适合高请求率场景下的低延迟应用。

  2. AWS Machine Learning Blog

    AWS推出双向KV传输技术,将vLLM多轮代理工作负载TTFT提升最高3.3倍

    AI 导读AWS提出双向KV传输机制,解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存,避免重复计算历史上下文。在Amazon EC2 P5en实例测试中,Qwen3-32B模型TTFT提升1.6倍,zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中,支持GPU和Trainium实例。

    AI 选稿理由解决了多轮代理工作负载中TTFT随对话增长而恶化的瓶颈,显著提升响应速度并减少计算资源消耗。

10月19日周一
  1. NVIDIA Blog

    NVIDIA与欧洲广播联盟合作扩展媒体安全框架,Adobe Frame.io加速视频搜索

    AI 导读NVIDIA与欧洲广播联盟(EBU)合作扩展主权媒体框架,整合云服务、开放模型和集成商,确保广播机构数据主权和安全。Adobe Frame.io采用NVIDIA GPU加速技术,使德国UFA公司视频搜索速度提升5倍,处理效率提高4倍,帮助编辑快速查找15年前的视频片段。

    AI 选稿理由解决了媒体行业大规模视频内容检索效率低的瓶颈,广播机构和内容制作商可通过AI加速技术实现毫秒级视频搜索,大幅提升内容制作效率。

  2. Hugging Face · 每日论文

    BSD:用自蒸馏统一跨词表与闭源API教师

    AI 导读研究提出 Bridged Self-Distillation(BSD)框架:外部教师只提供离线推理轨迹,作为特权上下文;学生模型自身在无上下文条件下生成 rollout,再由同一学生的上下文条件副本充当自教师,在学生自身词表空间为这些 rollout 打分,并结合验证器结果信号调整失败轨迹的更新。由于教师只需输出文本,该方法统一适用于共享词表、跨词表和闭源 API 教师场景,在各类场景中均优于基线和专用方法,代码已开源。

    AI 选稿理由提出一种只依赖教师文本输出的统一在线蒸馏框架,覆盖跨词表和闭源API教师等此前需分别处理的情形,并公开代码,适用于研究蒸馏方法者参考。

  3. Import AI

    Import AI 477:我在IMF会议上谈论奇点已至

    AI 导读Jack Clark在IMF曼谷会议上发表演讲,认为AI已开始自主进行前沿科学研究,奇点已经到来。他列举了AI在数学、生物学、机器人学等领域的突破性进展,如AI解决理论物理问题得分98%超过人类专家。他预测这将加速科学进步,带来经济变革,但也需警惕风险。各国应建设基础设施以利用AI科学能力,同时制定规则确保安全。

    AI 选稿理由AI已开始自主进行前沿科学研究,在多个学科取得突破性进展,将加速全球科学进步并带来经济变革,但也需警惕风险并制定相应规则。

  4. Hugging Face · 每日论文

    扩散语言模型在不同任务和语言中改变生成速度

    AI 导读研究分析了两个扩散模型在10项任务中的表现,发现模型生成每个token所需的前向传递次数因任务而异:复制或轻度编辑文本成本低,开放式写作成本高。输出中相对于输入的新内容比例和词的稀有性是影响成本的关键因素。多语言生成中,高token化语言需要更多传递次数。此外,错误答案比正确答案需要更多传递,按解码速度加权候选答案比多数投票高4.2分。

    AI 选稿理由研究揭示了扩散语言模型计算效率与输出内容创新度之间的关系,为优化推理效率和可靠性提供了实用信号。

  5. Hugging Face · 每日论文

    TokenGate:通过学习式 token 剪枝让 LLM 长上下文预填充提速 1.4–11.3 倍

    AI 导读论文提出 TokenGate,一个可即插即用的小型组件,通过 token 重要性分数重加权注意力 logits 的“token 门控注意力”机制,实现长上下文输入端到端可学习的 token 剪枝,缓解模型逐层处理全部 token 的成本。实验显示其在不损失精度的前提下将首 token 时间(TTFT)提升 1.4–11.3 倍、峰值内存降低 1.5–3.4 倍;相比此前最优 token 剪枝方法,预填充最快提升 6.4 倍、内存降低 2 倍。该方法可扩展至 Qwen3 等标准 transformer 与 Qwen3.5 等混合注意力模型,代码已开源。

    AI 选稿理由提出可端到端训练的 token 剪枝组件 TokenGate,在不损失精度下将长上下文 TTFT 提速 1.4–11.3 倍、峰值内存降低 1.5–3.4 倍,并覆盖标准与混合注意力模型,代码开源。

  6. Hugging Face · 每日论文

    OpenVLHarness: 多模态记忆支持的真实视觉代理工具使用

    AI 导读研究团队提出OpenVLHarness,一种围绕能力层和持久多模态记忆组织的多模态推理工具。在22个基准测试中,该工具使Qwen3-VL-8B、Kimi K3和GPT-6 Astra模型得分分别提升11.2、9.7和9.9分,在GPT-6 Luna上以中等推理 effort 超越其他模型最高 effort 表现,且模型token成本最多降低37%。

    AI 选稿理由OpenVLHarness通过多模态记忆和工具接口解决了视觉推理中证据获取瓶颈,显著提升模型在复杂任务中的表现并降低计算成本。

  7. Nature Machine Intelligence · 研究

    理解与监控推理大语言模型的挑战

    AI 导读前沿大语言模型被训练以逐步解决问题,生成人类可理解的推理文本。然而,这些推理标记并非大语言模型内部计算的准确解释,给模型监控带来了挑战。

    AI 选稿理由研究揭示了推理大语言模型内部计算与外部推理文本之间的差异,为提高模型透明度和可监控性提供了新视角。

  8. Hugging Face · 每日论文

    物理递归自我改进能力来源研究:LLM作为策略的观测缩放定律

    AI 导读该研究系统探讨了物理递归自我改进(RSI)的机制、缩放行为和泛化能力。研究引入PhysRSI-eval评估框架,通过首次尝试性能、效率、成功率、预算和失败改进五个维度量化物理RSI,在18个操作任务中评估不同视觉语言模型(VLM)。实验结果提出"物理桶假设",即不同能力可能限制改进的不同部分。研究还从两个角度进行观测缩放分析:预测VLM代理的相对性能和基于早期物理反馈预测后续进展。

    AI 选稿理由该研究首次系统量化了物理递归自我改进能力,提出物理桶假设,为AI体在物理世界中的自我改进机制提供了理论基础和评估框架。

  9. Hugging Face · 每日论文

    记忆有代价:资源约束下的记忆价值学习研究

    AI 导读研究发现在资源受限情况下,现有终身记忆方法效果不佳,简单检索或无记忆代理反而更有效。TokenWorth框架通过学习查询相关的记忆价值,在三个LifelongAgentBench环境中实现了最高任务成功率并使用最少的输出token,证明有效适应的关键在于学习值得记住的内容而非记住更多。

    AI 选稿理由解决了资源受限环境下终身代理的记忆价值评估问题,为实际部署中的内存管理提供了新方法。

  10. Hugging Face · 每日论文

    ActionRoPE: 将动作作为平面相机游戏世界模型的坐标实现空间一致性控制

    AI 导读针对平面相机游戏世界模型中动作控制的空间一致性问题,研究者提出ActionRoPE参数化动作接口,将动作驱动的相机位移转换为世界坐标旋转位置,并引入坐标条件噪声调度(CNS)算法。该方法使遵循指令运动更准确,比最强基线减少66%的重访漂移,且可跨1.3B至33B参数的视频骨干模型及分布外场景迁移。

    AI 选稿理由解决了平面相机游戏世界模型中动作控制的空间一致性问题,通过坐标表示和噪声调度显著提高了运动准确性和生成稳定性。

  11. Hugging Face · 每日论文

    MemT-1.0:迈向内存原生进化

    AI 导读研究团队推出MemT-1.0,一种将内存作为基础模型内在能力的新架构,采用Gated DeltaNet-2和Mixture-of-Storage技术。该模型家族包含MemT-1.0-Nano和MemT-1.0-Flash,在128K token历史长度下实现1.86倍推理加速和66倍存储减少,同时保持通用能力并提升智能体任务成功率。

    AI 选稿理由MemT-1.0通过内存原生架构解决了长上下文处理的效率和存储瓶颈,为需要长期记忆的AI应用提供了实用解决方案。

  12. Hugging Face · 每日论文

    Kronecker Delta Rule for Long Context Linear Attention

    AI 导读研究人员提出KronLSTM,一种基于Kronecker Delta Rule的新型线性注意力架构,通过最小侵入式内存修正机制减少信息干扰,特别适合长上下文语言建模。实验表明,KronLSTM在长上下文基准测试中表现优异,性能优于现有线性注意力架构,且内存动态稳定无需额外归一化机制。

    AI 选稿理由KronLSTM解决了长上下文建模中的内存干扰问题,为稳定的大规模语言模型提供了新的数学基础和开源实现。

  13. Hugging Face · 每日论文

    VerifierBench:评估LLM代理可执行验证器生成的基准测试

    AI 导读研究团队提出VerifierBench基准,包含来自6个代理基准的222个任务和4,993个隐藏测试案例,用于评估LLM代理生成可执行验证器的能力。测试显示19个模型的归一化平衡准确率在10.6%至62.1%之间,生成的验证器在拒绝无效解决方案方面比接受有效解决方案更可靠,但存在过度限制验证的问题。

    AI 选稿理由提供了首个针对LLM代理验证器生成的基准测试,揭示了验证器在拒绝无效解决方案时的过度限制问题,为改进代理输出验证提供了新方法。

  14. Hugging Face · 每日论文

    视觉语言模型子任务层面出现逆向扩展:19个模型、8个多模态基准的系统证据

    AI 导读论文评测4个模型家族的19个模型在8个多模态基准(9个评测切分)上的表现,每个模型回答29,386个问题,共558,334次模型-问题评测。逐题成对分析发现375个子任务-模型对组合呈逆向扩展,涉及4,342个独特查询(小模型答对而大模型答错),且在独立开发的架构间复现;13个子任务-数据集对跨多个家族出现逆向扩展,表明现象由任务驱动而非特定模型所致。受影响最严重的领域包括多图像空间推理、视觉感知和大学级STEM知识,部分准确率差距超过20个百分点,而图表理解相对稳健。

    AI 选稿理由论文给出视觉语言模型在子任务层面逆向扩展的系统量化证据(19模型、558,334次评测、375个逆向扩展组合),并指出该现象跨架构复现、由任务驱动,提示模型选择应按任务区分。

  15. Nature Machine Intelligence · 研究

    Nature Machine Intelligence:多组学网络推断框架CORNETO的可重用性研究

    AI 导读该研究评估了CORNETO框架在多组学数据中学习生物网络的可重用性。研究发现,稳健的网络推断取决于数据可用性、先验知识、正则化和生物背景。这项工作揭示了不同条件下网络推断的稳健性差异。

    AI 选稿理由该研究解决了生物网络推断中可重用性的关键问题,为不同数据条件下的网络分析提供了重要参考,有助于提高多组学数据分析的可靠性。

  16. Hugging Face · 每日论文

    AdaExploreBench:评估LLM代理在动态环境中的主动探索和测试时自适应能力

    AI 导读针对大型语言模型(LLM)代理在未知和动态环境中需要主动探索、理解和适应环境动态的问题,研究人员提出了AdaExploreBench,一个用于评估主动探索和测试时自适应能力的基准。实验表明,主动和自适应的探索仍然具有挑战性,当前LLM代理在获取正确证据和识别先前获取的证据不再有效方面存在瓶颈。

    AI 选稿理由解决了LLM代理在动态环境中主动获取证据和适应环境变化的瓶颈,有助于提升LLM代理在复杂环境中的表现。

  17. Hugging Face · 每日论文

    Vision-Language-Delta-Action: 学习紧凑Delta作为可操作过渡接口以实现机器人操作

    AI 导读本文提出了一种名为Vision-Language-Delta-Action(VLDA)的新范式,通过紧凑的Delta变量捕捉潜在的世界状态变化,作为视觉语言理解和动作生成之间的接口。VLDA通过统一目标学习Delta,包括局部过渡滤波器(LT-Filter)和全局过渡锚点(GT-Anchor),以改善长期一致性、鲁棒性和泛化能力。

    AI 选稿理由VLDA通过紧凑的Delta变量捕捉潜在的世界状态变化,作为视觉语言理解和动作生成之间的接口,从而提高了机器人操作的长期一致性、鲁棒性和泛化能力。

  18. Hugging Face · 每日论文

    OpenDS-World基准:评估AI代理在真实网络环境中的深度搜索能力

    AI 导读研究团队推出OpenDS任务和OpenDS-World基准,评估AI代理在真实开放网络环境中进行多步骤深度搜索的能力。该基准包含200个挑战性任务,涵盖多种信息模态、异构文件格式和交互访问要求。评估显示,最佳模型准确率为39.0%,而人类评估准确率为21.1%。研究揭示了模型在工具协调和长程搜索管理方面的持续挑战。

    AI 选稿理由OpenDS-World提供了首个系统评估AI代理在真实开放网络环境中自主深度搜索能力的统一平台,包含200个多模态、异构格式的挑战任务,并揭示了当前模型在工具协调和长程搜索管理方面的显著差距。