Hugging Face · 每日论文· 媒体 / 作者来源·精选
Looped Uniform Diffusion Language Models：循环提升扩散语言模型训练效率
原文标题
Looped Uniform Diffusion Language Models
AI 导读
研究团队在保持训练目标和采样器不变的情况下，将选择性循环应用于均匀扩散语言模型(UDLMs)，显著提高了训练效率。循环UDLMs仅需约0.5万亿token训练量即可达到非循环UDLMs在1万亿token训练量下的验证NLL，在OpenWebText和FineWeb-Edu数据集上分别节省2.8倍和3.3倍训练FLOPs。在匹配NFE预算下，循环UDLMs生成困惑度降低最高达9.8%，且采用非均匀循环计数策略可进一步减少12%的循环次数而不降低准确率。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
该研究通过循环技术显著提升了扩散语言模型的训练效率，在保持模型性能的同时大幅减少了计算资源需求，适用于大规模语言模型训练优化。
导读由模型辅助整理，非独立核验。完整信息见原文。