AWS Machine Learning Blog· Sunita Nadampalli· 机构原始发布·· 7 天前精选
AWS推出基于推送的KV传输技术，提升vLLM推理的TTFT和TPOT性能
原文标题
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS在vLLM推理引擎中引入基于推送的NIXL连接器，通过将KV传输协调工作移出关键路径，显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中，相比传统拉取模式，新技术使Qwen3-32B模型的TTFT提升最高达3倍，TPOT改善最高达30%。
来源：AWS Machine Learning Blog · aws.amazon.com
导读与选稿说明
解决了分布式推理中KV传输延迟瓶颈，使预填充和解码阶段可独立扩展，特别适合高请求率场景下的低延迟应用。
导读由模型辅助整理，非独立核验。完整信息见原文。