Hugging Face · 每日论文· 媒体 / 作者来源·精选
LEV:用循环决策模型实现更深的推理,2.6B 模型 JevBench 准确率从 63.2% 提升至 76.2%
原文标题
LEV: Thinking Fast and Deep with Looped Decision Models
AI 导读
论文提出 LEV 决策模型,通过循环重跑层而非生成 token 来加深推理。模型基于按循环方式预训练的语言模型,每个循环步骤后读取选项并联合训练所有步骤,因此同一 checkpoint 可在任意深度作答。在三个循环骨干网络上,准确率随深度提升,主要改善难题:2.6B LEV 在 JevBench 上从深度 1 的 63.2% 升至深度 4 的 76.2%。按问题自适应设定深度可节省 15%–24% 计算量,代价不到一个准确率点。在锁定测试集上,1.4B 和 3B 模型比同延迟(低于 50ms)的稠密模型和级联方案高 5.4 至 8.8 个点。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提供了一种不生成 token 就能按需增加推理深度的决策模型方案,同一权重可自适应深度并节省 15%–24% 计算,适合低延迟分类与多选问答场景。
导读由模型辅助整理,非独立核验。完整信息见原文。