Hugging Face · 每日论文· 媒体 / 作者来源·精选
Huginn 架构新研究：循环模型设计需解耦拓扑、输入注入与循环状态
原文标题
Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
AI 导读
该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦，在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优，输入注入主要提升知识检索与上下文利用，随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下，完整 Huginn 架构在全部十项基准上超过 Ouro，且该优势可迁移到 MoE 模型。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
为循环模型设计提供了可复用的解耦实验结论：Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线，并覆盖知识、推理和编码任务。
导读由模型辅助整理，非独立核验。完整信息见原文。