跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
原文
Hugging Face · 每日论文· 媒体 / 作者来源·精选

缓存工程:让Agent直接管理KV缓存,降低成本27.7%

原文标题

Cache Engineering for Agents

AI 导读

针对Agent长轨迹中KV缓存I/O与存储成为主要成本、裁剪历史又会触发重新预填充的问题,作者提出“缓存工程”:Agent可用drop把选定缓存排除出后续注意力,用repos调整保留键的位置编码,无需改动轨迹前缀。团队将历史依赖视为服务难题并联合设计AKV引擎,以无状态接口内部管理缓存复用、驱逐与恢复。工具响应滚动丢弃策略使平均基准分提高1.7分、平均成本降低27.7%;AKV输出吞吐最高1.2倍,P95请求延迟加速1.5倍;缓存策略递归自改进再降本7.1%。代码已开源。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

提出不改轨迹即可控制活跃KV缓存的drop/repos操作,并给出AKV引擎与量化收益,适用于长轨迹Agent推理服务优化。

导读由模型辅助整理,非独立核验。完整信息见原文。