Hugging Face · 每日论文· 媒体 / 作者来源·精选
ECHO：超越辅助多令牌预测的高效因果自递归模型
原文标题
ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
AI 导读
研究人员提出ECHO方法，通过让骨干模型的最后一层直接预测所有时间范围，消除了传统多令牌预测(MTP)方法中需要额外模块和前向传播的成本。结合动态深度采样(DDS)技术，ECHO将未来预测融入自回归目标，在预训练中仅需一半的MTP训练开销即可提升下游推理和代码能力，推理时模型可自主扩展预测深度并保持高熵生成时的对齐优势。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
ECHO解决了多令牌预测方法计算效率低的问题，通过骨干模型直接预测和动态深度采样，大幅降低训练成本同时提升模型在推理和代码任务上的表现。
导读由模型辅助整理，非独立核验。完整信息见原文。