Hugging Face · 每日论文· 媒体 / 作者来源·精选
SPOT：通过提交顺序预测提升扩散语言模型的推测解码效率
原文标题
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
AI 导读
研究团队提出SPOT方法，通过预测扩散语言模型中标记的提交顺序，将目标模型通过次数减少最多6.8倍，吞吐量提升3.4倍。SPOT是一个62万参数的轻量模型，能够预测标记顺序并生成候选延续树，目标模型通过状态等式验证。SPOT-Sets进一步实现了动态阈值解码，平均提升SDAR-8B吞吐量59%，且模型可在不同扩散语言模型间迁移。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
SPOT解决了扩散语言模型并行生成中的速度-质量权衡问题，通过轻量模型预测标记顺序实现无损加速，实验验证了其在多种任务和预算下的有效性及跨模型迁移能力。
导读由模型辅助整理，非独立核验。完整信息见原文。