Hugging Face · 每日论文· 媒体 / 作者来源·精选
ReaDy：用混合线性注意力循环状态做推测解码草稿
原文标题
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
AI 导读
论文提出 ReaDy，首个利用混合线性注意力（HLA）模型循环状态辅助推测解码的方法：每个草稿位置通过可学习查询从目标模型已提交的循环状态中检索位置相关上下文，轻量状态读取器以残差方式注入草稿表示，并通过低秩读取与融合算子控制开销。在数学、代码生成、对话等七个基准上，ReaDy 在单张 NVIDIA B200 上配合 Qwen3.8-27B 平均取得 3.16 倍解码加速，吞吐较 DSpark 提升 7.97%，接受长度提升 8.50%。代码已开源。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
把混合线性注意力模型的循环状态用作推测解码的位置相关上下文，在多个基准上把草稿吞吐和接受长度同时提升，可直接用于长文本自回归推理的加速部署。
导读由模型辅助整理，非独立核验。完整信息见原文。