AWS Machine Learning Blog· Sunita Nadampalli· 机构原始发布·· 7 天前精选
AWS推出双向KV传输技术，将vLLM多轮代理工作负载TTFT提升最高3.3倍
原文标题
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS提出双向KV传输机制，解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存，避免重复计算历史上下文。在Amazon EC2 P5en实例测试中，Qwen3-32B模型TTFT提升1.6倍，zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中，支持GPU和Trainium实例。
来源：AWS Machine Learning Blog · aws.amazon.com
导读与选稿说明
解决了多轮代理工作负载中TTFT随对话增长而恶化的瓶颈，显著提升响应速度并减少计算资源消耗。
导读由模型辅助整理，非独立核验。完整信息见原文。