Hugging Face · 每日论文· 媒体 / 作者来源·精选
Lafa：8B连续流语言模型，相同质量下吞吐量达AR的2.54倍
原文标题
Large Flow Language Models
AI 导读
研究者提出Lafa，将连续流语言模型扩展到8B参数，采用块内双向异步流加前缀因果注意力的设计，可通过改造预训练自回归模型高效训练，并用前缀缓存和块级并行解码加速推理。在0.5B、7B、8B规模上，均以少于300亿token完成训练，指令跟随、推理和编程质量与AR相当或更好，还能蒸馏成流映射，实现一步或少步生成。利用流训练的多token预测效应做自推测解码，吞吐量达AR的2.54倍。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
给出8B连续流语言模型的完整训练与推理方案，并在多token预测和自推测解码下报告了2.54倍吞吐的具体结果，属于可复用的生成建模范式进展。
导读由模型辅助整理，非独立核验。完整信息见原文。