AI 导读针对小型语言模型(SLM)代理在长交互轨迹中出现的进展停滞问题,研究者提出Progress-Aware Distillation(ProD)方法。该方法通过检测和惩罚学生模型生成的停滞轨迹,将停滞差距编码为自适应边界,动态防止无效循环。实验表明,ProD在8个0.6B至8B参数的SLM上显著提升了任务成功率和完成效率。
AI 选稿理由解决了SLM代理在长任务中的进展停滞瓶颈,使小型模型能更高效地完成复杂任务,适用于资源受限场景。
AI 导读本期导读三条主线:Meta 发布 816B 总参/42B 激活的 MoE 开放权重模型 Muse Spark Open,1M 上下文并支持文本图像视频音频,AA 智能指数 39 居美国开源首位但落后 GLM-5.3;Goodfire 的 Nick Cammarata 提出“神经网络本来就很干净”,认为许多经典多义性案例可被更强的 agent 分析拆解;此外还有 NVIDIA Nemotron 3.5 Super VL、微软 MAI-Base-2、Gemini 4 Argon 评测,以及 SPACE 沙箱、TPUv7 推理基准等系统与安全研究。
AI 选稿理由Muse Spark Open 是目前美国最强的开源权重模型,1M 上下文加多模态输入可用于编码与长程 agent,权重可在 4×Blackwell Ultra 或双 Mac Studio 上本地部署;Goodfire 的“已干净”论则给可解释性研究提供了可复用的 agent 分析路径。
AI 导读论文提出能力基评测(CBE)范式,用参数化生成器在固定所需能力的前提下扩展复杂度,并用答案保持不变的表述变体检验模型是否可靠应用同一能力。在小学排序任务上对六款GPT和Qwen模型测试:有界复杂度范围内表现尚好,但强模型在测试问题族上均未通过能力条件;思维链和GRPO能扩展强表现但未解决全部失败,监督LoRA在留出集上迁移很少。
AI 选稿理由提出可随模型扩展的能力一致性评测协议,在六款GPT/Qwen排序任务上给出诊断结果,并报告CoT、GRPO与LoRA的对比效果。
AI 导读研究显示,自回归Transformer模型在生成t个token后,提示词对隐藏状态的影响呈幂律衰减t^{-α},训练后的模型遗忘较快(α≈0.55-0.7),未训练模型遗忘较慢(α≈0.2-0.5)。研究证明了有限深度预归一化softmax Transformer的遗忘界限,并提出了'条件无毛定理':随着生成文本增长,提示词对下一个token的影响会消失,任何保留的提示词属性必须由文本本身携带。
AI 选稿理由揭示了Transformer模型中提示词遗忘的数学机制,为理解语言模型记忆特性提供了理论基础,有助于改进提示工程和模型设计。
AI 导读研究提出LM2LM方法,通过强化训练大语言模型生成有效的语言模型改进方案。使用研究世界模型(RWM)提供可扩展反馈,并定期执行高排名提案以保持反馈可靠性。在八个自回归和扩散语言模型开发环境中,LM2LM使Qwen3.8-27B超越GPT-6-sol,即使后者拥有300个真实实验记录,且数据生成成本降低33%。该方法还能推广到训练期间未见过的模型家族。
AI 选稿理由LM2LM实现了语言模型自我改进的高效方法,通过研究世界模型降低数据生成成本33%,并在多种模型开发环境中超越现有模型。
AI 导读论文提出 TreeOPSD,一种无需 critic、树感知的后验自蒸馏框架,用于长程智能体强化学习。该方法将每个交互轮视为树节点,从共享前缀分支出替代延续,并递归地把终端奖励回传为隐式轮级信用,再映射为以相对冻结行为策略似然比为参数的闭式有界教师分布。实验显示其在多个基准和模型规模上提升智能体能力,Qwen3-30B-A3B-Thinking-2507 在 Deep Research 设置下平均准确率较 GRPO 提升 4.97 分。
AI 选稿理由为长程智能体 RL 提供了无需价值网络和步骤标注的轮级信用分配方法,并用有界教师分布约束多轮小批量更新,可用于提升深度研究等长程任务的训练稳定性与效果。
AI 导读研究者提出 MIST 评测,将“场景设置”与“应留下的记忆”分开检验,发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更,而非遗忘。基于此提出 M3-Agent(Make the Missing Move),递归改写输入指令细节以促使模型执行指令,其 MIST reveal 得分相比基线提升三倍以上,WRBench 的 T 分数提升 26.1%,MBench-T 的 U 分数提升 52.7%。
AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断,并给出可递归改写指令的 M3-Agent,使冻结模型在既有基准上显著提升,为世界模型评测与提示设计提供了可复用方法。