Hugging Face · 每日论文· 媒体 / 作者来源·精选
TokenGate：通过学习式 token 剪枝让 LLM 长上下文预填充提速 1.4–11.3 倍
原文标题
TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
AI 导读
论文提出 TokenGate，一个可即插即用的小型组件，通过 token 重要性分数重加权注意力 logits 的“token 门控注意力”机制，实现长上下文输入端到端可学习的 token 剪枝，缓解模型逐层处理全部 token 的成本。实验显示其在不损失精度的前提下将首 token 时间（TTFT）提升 1.4–11.3 倍、峰值内存降低 1.5–3.4 倍；相比此前最优 token 剪枝方法，预填充最快提升 6.4 倍、内存降低 2 倍。该方法可扩展至 Qwen3 等标准 transformer 与 Qwen3.5 等混合注意力模型，代码已开源。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出可端到端训练的 token 剪枝组件 TokenGate，在不损失精度下将长上下文 TTFT 提速 1.4–11.3 倍、峰值内存降低 1.5–3.4 倍，并覆盖标准与混合注意力模型，代码开源。
导读由模型辅助整理，非独立核验。完整信息见原文。