Hugging Face · 每日论文· 媒体 / 作者来源·精选
扩散语言模型中学习掩码策略的优劣：一项控制研究
原文标题
What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
AI 导读
研究人员对扩散语言模型中的学习掩码策略进行了控制研究，发现标签预测匹配最终输出在低NFE时过于宽容，而隐藏状态单独较弱但可以补充信心。通过在轨迹收缩目标上训练策略，使用信心和隐藏状态，研究人员在LLaDA-8B-Instruct上实现了最佳准确度-NFE前沿和最高的吞吐量。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
该研究提供了关于扩散语言模型中学习掩码策略的深入见解，有助于优化模型性能。
导读由模型辅助整理，非独立核验。完整信息见原文。