Hugging Face · 每日论文· 媒体 / 作者来源·精选
DLite：面向 Agentic AI 的无历史投机解码框架
原文标题
DLite: History-free Speculative Decoding for Agentic AI
AI 导读
论文指出，Agent 场景下上下文长且持续演化、多轮交互频繁，现有草稿模型接受长度最多下降 80%，维护历史 KV 缓存也带来大量系统开销。DLite 直接复用目标模型的上下文隐藏状态做局部投机预测，不再显式维护历史上下文，并用轻量顺序头恢复块内因果依赖，配合两阶段训练。在通用、长上下文与 Agent 负载上实现 2–6 的接受长度，比 SOTA 方法 DSpark 最高提升 70%。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
把 Agent 长上下文下的投机解码从“维护历史”变成“复用目标模型隐藏状态做局部预测”，在通用、长上下文和 Agent 负载上把接受长度提升到 2–6、较 DSpark 最高提升 70%，可用于降低多轮 Agent 推理的延迟与显存开销。
导读由模型辅助整理，非独立核验。完整信息见原文。