Hugging Face · 每日论文· 媒体 / 作者来源·精选
缓存工程:让Agent直接管理KV缓存,降低成本27.7%
原文标题
Cache Engineering for Agents
AI 导读
针对Agent长轨迹中KV缓存I/O与存储成为主要成本、裁剪历史又会触发重新预填充的问题,作者提出“缓存工程”:Agent可用drop把选定缓存排除出后续注意力,用repos调整保留键的位置编码,无需改动轨迹前缀。团队将历史依赖视为服务难题并联合设计AKV引擎,以无状态接口内部管理缓存复用、驱逐与恢复。工具响应滚动丢弃策略使平均基准分提高1.7分、平均成本降低27.7%;AKV输出吞吐最高1.2倍,P95请求延迟加速1.5倍;缓存策略递归自改进再降本7.1%。代码已开源。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出不改轨迹即可控制活跃KV缓存的drop/repos操作,并给出AKV引擎与量化收益,适用于长轨迹Agent推理服务优化。
导读由模型辅助整理,非独立核验。完整信息见原文。