vLLM 推出基于 push 的 KV 传输，分拆推理下 TTFT 最高提升 3 倍

vLLM 新增 push 模式的 NIXL connector，把 KV 传输的协调与准备工作移出首 token 关键路径。在 AWS EC2 P5en 实例搭配 EFA 的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再以与加速器无关的形式贡献给 vLLM。