事件记录历史事件
AWS双向KV传输技术发布
1 篇报道1 个报道来源7 天前更新
先了解这件事
报道摘要
AWS提出双向KV传输机制，解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存，避免重复计算历史上下文。在Amazon EC2 P5en实例测试中，Qwen3-32B模型TTFT提升1.6倍，zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中，支持GPU和Trainium实例。
摘自 AWS Machine Learning Blog
报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning Blog精选AWS推出双向KV传输技术，将vLLM多轮代理工作负载TTFT提升最高3.3倍
AWS提出双向KV传输机制，解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存，避免重复计算历史上下文。在Amazon EC2 P5en实例测试中，Qwen3-32B模型TTFT提升1.6倍，zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中，支持GPU和Trainium实例。