跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

推理能力

全部主题
主题资料

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

226 篇文章

最新文章

第 161–180 条 · 共 226 条
10月17日周六
  1. Hugging Face · 每日论文

    Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

    AI 导读针对小型语言模型(SLM)代理在长交互轨迹中出现的进展停滞问题,研究者提出Progress-Aware Distillation(ProD)方法。该方法通过检测和惩罚学生模型生成的停滞轨迹,将停滞差距编码为自适应边界,动态防止无效循环。实验表明,ProD在8个0.6B至8B参数的SLM上显著提升了任务成功率和完成效率。

    AI 选稿理由解决了SLM代理在长任务中的进展停滞瓶颈,使小型模型能更高效地完成复杂任务,适用于资源受限场景。

10月16日周五
  1. The Decoder

    谷歌Gemini 4 Argon在ARC-AGI-3基准测试中得分97.5%

    AI 导读Google Deepmind的Gemini 4 Argon在ARC-AGI-3基准测试中得分97.5%,成为继OpenAI后第二个突破95%大关的实验室。但在标准测试环境中,其得分降至49.8%。该模型在数学和软件工程领域仍落后于竞争对手。

    AI 选稿理由Gemini 4 Argon在特定基准测试中接近人类水平,展示了谷歌在AI前沿领域的最新进展。

  2. The Batch · AI 研究与应用

    The Batch 第375期:Claude Haiku 5.5 与 Mistral Large 4 发布,本地 AI 硬件与数据配比研究

    AI 导读本期主要围绕三条线索:Anthropic 发布 Claude Haiku 5.5 并回顾 Sonnet 5.5,独立评测显示 Haiku 5.5 智能指数 43 排第 13、速度最快,但成本与延迟随推理等级大幅变化;Mistral 发布 1.05 万亿参数 MoE 模型 Large 4 的 API 预览,在 CyberGym-E2E-AA 上以 82% 居公开模型首位,权重将随后开放;Apple、Nvidia、Microsoft 推出面向本地 AI 的桌面与笔记本,Tom's Hardware 用 AgentPerf-Local 测试表明 Nvidia 硬件快于 Apple 与 AMD。此外,清华、蚂蚁与人大提出 CausalMix,用因果方法将数据配比与数据质量分离来优化微调数据选择。

    AI 选稿理由Mistral Large 4 成为中美国之外最强开源权重候选并在漏洞修复任务领先,Claude Haiku 5.5 刷新速度与价格结构,本地硬件与 CausalMix 分别为端侧部署和数据配比提供了可复用的量化参考。

  3. The Decoder

    神经网络可解释性研究获突破进展,90%神经元功能明确

    AI 导读最新研究表明神经网络可能比研究人员想象的更容易解读,约90%的神经元具有明确功能。这一发现对AI安全研究具有重要意义,可直接在模型电路中发现欺骗或危险行为。研究人员仍在辩论这一论点是否成立。

    AI 选稿理由神经网络可解释性研究取得实质性突破,为AI安全监控提供新方向。

  4. Latent Space

    AINews:Meta 开源 Muse Spark Open,Agent 分析挑战多义性假说

    AI 导读本期导读三条主线:Meta 发布 816B 总参/42B 激活的 MoE 开放权重模型 Muse Spark Open,1M 上下文并支持文本图像视频音频,AA 智能指数 39 居美国开源首位但落后 GLM-5.3;Goodfire 的 Nick Cammarata 提出“神经网络本来就很干净”,认为许多经典多义性案例可被更强的 agent 分析拆解;此外还有 NVIDIA Nemotron 3.5 Super VL、微软 MAI-Base-2、Gemini 4 Argon 评测,以及 SPACE 沙箱、TPUv7 推理基准等系统与安全研究。

    AI 选稿理由Muse Spark Open 是目前美国最强的开源权重模型,1M 上下文加多模态输入可用于编码与长程 agent,权重可在 4×Blackwell Ultra 或双 Mac Studio 上本地部署;Goodfire 的“已干净”论则给可解释性研究提供了可复用的 agent 分析路径。

  5. Hugging Face · 每日论文

    DLite:面向 Agentic AI 的无历史投机解码框架

    AI 导读论文指出,Agent 场景下上下文长且持续演化、多轮交互频繁,现有草稿模型接受长度最多下降 80%,维护历史 KV 缓存也带来大量系统开销。DLite 直接复用目标模型的上下文隐藏状态做局部投机预测,不再显式维护历史上下文,并用轻量顺序头恢复块内因果依赖,配合两阶段训练。在通用、长上下文与 Agent 负载上实现 2–6 的接受长度,比 SOTA 方法 DSpark 最高提升 70%。

    AI 选稿理由把 Agent 长上下文下的投机解码从“维护历史”变成“复用目标模型隐藏状态做局部预测”,在通用、长上下文和 Agent 负载上把接受长度提升到 2–6、较 DSpark 最高提升 70%,可用于降低多轮 Agent 推理的延迟与显存开销。

  6. Hugging Face · 每日论文

    Harnessing Textual Refusal Directions for Multimodal Safety

    AI 导读研究提出Modality-Agnostic Refusal Steering (MARS)方法,通过从LLM骨干网络提取文本拒绝方向实现多模态安全,无需收集多模态安全数据。MARS通过激活中心化、自适应调整引导强度和选择最佳干预层,在五种SOTA多模态大模型上提升了安全性,同时保持实用性。

    AI 选稿理由解决了多模态大模型安全数据收集困难的问题,提供了一种无需多模态安全数据的轻量级安全增强方法。

  7. Hugging Face · 每日论文

    什么是混合离散-连续规划的良好符号?

    AI 导读研究提出基于求解器充分性的符号化方法,通过反例引导算法发明符号,在分段仿射系统和神经网络优化目标中验证,可降低求解成本并保持解质量,同时提升可解释性和可控性。

    AI 选稿理由提出求解器充分性符号化概念及反例引导算法,适用于机器人规划和连续优化问题。

  8. TLDR AI · 前沿简报

    TLDR AI 前沿简报 2026-10-16:Muse Spark Open 开源模型、微软 MAI-Base-2 预训练栈与开放权重占比

    AI 导读本期头条包括:Muse Spark Open 为 816B 参数(激活 42B)、100 万 token 上下文的多模态开放权重模型,面向编码与长周期 Agent 任务,可在两台 Apple M5 Ultra Mac Studio 上用 MLX 本地运行;微软详解 2.8T 参数 MoE 模型 MAI-Base-2 的训练栈,称其在留出预训练评测中超过所有开放权重模型,并计划通过 Foundry 提供企业服务;Liquid AI 发布 d1-ultra 多模态决策模型,定价每百万输入 token 0.042 美元。另有多篇深度分析、Nvidia Nemotron 3.5 Super VL、Krea 3、FLUX 3 Image Klein 等工程与模型进展,以及开放权重模型已占网关超七成 token 和近四分之一花费的统计数据。

    AI 选稿理由Muse Spark Open、微软 MAI-Base-2 训练栈、Liquid d1-ultra 与 Nvidia Nemotron 3.5 Super VL 等集中发布,覆盖长上下文 Agent、企业级前沿模型与低成本决策模型,为开发者和企业提供新的开放权重与 API 选项。

  9. Hugging Face · 每日论文

    基于能力的逻辑推理评测:GPT与Qwen六款模型在排序任务上未通过能力一致性检验

    AI 导读论文提出能力基评测(CBE)范式,用参数化生成器在固定所需能力的前提下扩展复杂度,并用答案保持不变的表述变体检验模型是否可靠应用同一能力。在小学排序任务上对六款GPT和Qwen模型测试:有界复杂度范围内表现尚好,但强模型在测试问题族上均未通过能力条件;思维链和GRPO能扩展强表现但未解决全部失败,监督LoRA在留出集上迁移很少。

    AI 选稿理由提出可随模型扩展的能力一致性评测协议,在六款GPT/Qwen排序任务上给出诊断结果,并报告CoT、GRPO与LoRA的对比效果。

  10. Hugging Face · 每日论文

    Transformer的条件无毛定理:语言模型如何遗忘提示词

    AI 导读研究显示,自回归Transformer模型在生成t个token后,提示词对隐藏状态的影响呈幂律衰减t^{-α},训练后的模型遗忘较快(α≈0.55-0.7),未训练模型遗忘较慢(α≈0.2-0.5)。研究证明了有限深度预归一化softmax Transformer的遗忘界限,并提出了'条件无毛定理':随着生成文本增长,提示词对下一个token的影响会消失,任何保留的提示词属性必须由文本本身携带。

    AI 选稿理由揭示了Transformer模型中提示词遗忘的数学机制,为理解语言模型记忆特性提供了理论基础,有助于改进提示工程和模型设计。

  11. Hugging Face · 每日论文

    Huginn 架构新研究:循环模型设计需解耦拓扑、输入注入与循环状态

    AI 导读该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦,在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优,输入注入主要提升知识检索与上下文利用,随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下,完整 Huginn 架构在全部十项基准上超过 Ouro,且该优势可迁移到 MoE 模型。

    AI 选稿理由为循环模型设计提供了可复用的解耦实验结论:Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线,并覆盖知识、推理和编码任务。

  12. Hugging Face · 每日论文

    语言模型学习改进语言模型

    AI 导读研究提出LM2LM方法,通过强化训练大语言模型生成有效的语言模型改进方案。使用研究世界模型(RWM)提供可扩展反馈,并定期执行高排名提案以保持反馈可靠性。在八个自回归和扩散语言模型开发环境中,LM2LM使Qwen3.8-27B超越GPT-6-sol,即使后者拥有300个真实实验记录,且数据生成成本降低33%。该方法还能推广到训练期间未见过的模型家族。

    AI 选稿理由LM2LM实现了语言模型自我改进的高效方法,通过研究世界模型降低数据生成成本33%,并在多种模型开发环境中超越现有模型。

  13. Hugging Face · 每日论文

    QD-Rec:通过质量多样性实现推荐系统的开放式进化

    AI 导读研究人员提出QD-Rec方法,将开放式搜索与基础模型结合应用于推荐系统,为决策者提供多样化且高质量的推荐选项,每个选项附带自然语言解释。该方法在并购、客户目标定位及论文书籍推荐等场景中,多数情况下实现了最高的平均质量并构建了最大的推荐档案库。

    AI 选稿理由QD-Rec解决了传统推荐系统仅提供单一排序列表的局限,为高风险决策场景提供了多样化且附带解释的推荐选项,提升了决策质量。

  14. Hugging Face · 每日论文

    TreeOPSD:面向长程智能体强化学习的树感知后验自蒸馏框架

    AI 导读论文提出 TreeOPSD,一种无需 critic、树感知的后验自蒸馏框架,用于长程智能体强化学习。该方法将每个交互轮视为树节点,从共享前缀分支出替代延续,并递归地把终端奖励回传为隐式轮级信用,再映射为以相对冻结行为策略似然比为参数的闭式有界教师分布。实验显示其在多个基准和模型规模上提升智能体能力,Qwen3-30B-A3B-Thinking-2507 在 Deep Research 设置下平均准确率较 GRPO 提升 4.97 分。

    AI 选稿理由为长程智能体 RL 提供了无需价值网络和步骤标注的轮级信用分配方法,并用有界教师分布约束多轮小批量更新,可用于提升深度研究等长程任务的训练稳定性与效果。

  15. Hugging Face · 每日论文

    MIST 评测揭示视频世界模型记忆失败主因:未执行指令而非遗忘

    AI 导读研究者提出 MIST 评测,将“场景设置”与“应留下的记忆”分开检验,发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更,而非遗忘。基于此提出 M3-Agent(Make the Missing Move),递归改写输入指令细节以促使模型执行指令,其 MIST reveal 得分相比基线提升三倍以上,WRBench 的 T 分数提升 26.1%,MBench-T 的 U 分数提升 52.7%。

    AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断,并给出可递归改写指令的 M3-Agent,使冻结模型在既有基准上显著提升,为世界模型评测与提示设计提供了可复用方法。

  16. Hugging Face · 每日论文

    研究:给LLM补上答案首词,可纠正最多一半的闭卷问答错误

    AI 导读研究者提出 First-Token Cueing 行为探针:闭卷问答时先补上标准答案的第一个 token。在16个开源模型上,这一步可纠正英文多token答案错误的两成到五成,并在7种语言基准上普遍提升准确率。分析显示模型不确定性在首个答案 token 处最高,且已能预测对错;被纠正的错误大多也能由模型自行采样推理解出。

    AI 选稿理由论文提出可复用的推理时探针,并在16个开源模型和7种语言上给出首token纠错比例及与自采样推理的一致性证据,适用于研究闭卷事实召回失败。

  17. MIT News · AI 与行业突破

    MIT 团队发布 IRIS 模型,解码细胞间信号传导历史

    AI 导读MIT 与 Whitehead 研究所团队在 Nature Methods 发表研究,提出机器学习模型 IRIS。该模型可识别不同信号通路在基因活动上留下的独特“指纹”,且同一通路在不同细胞类型中指纹一致,从而无需逐一细胞类型实验即可推断细胞在胚胎发育各阶段接收的信号。IRIS 在小鼠原肠胚单细胞数据上准确预测了心脏、肠道、肌肉和脊髓相关信号通路,并成功预测驱动肺细胞发育的通路,经小鼠实验验证。

    AI 选稿理由该模型用迁移学习思路统一识别跨细胞类型的信号通路指纹,可在小鼠或人类胚胎尺度重建细胞信号历史,为干细胞工程、类器官建模与肺纤维化等疾病研究提供可复用的推断工具。

  18. Microsoft Research66

    微软研究院发布 Magnetar:基于证明的通用计算 zkVM

    AI 导读微软研究院发布 Magnetar,一个通用零知识虚拟机(zkVM),可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍,证明验证约 12 毫秒。

    AI 选稿理由微软研究院公开 Magnetar 的设计与基准数据,可了解零知识证明在通用程序上的效率与安全取舍。