英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

2026.10.18 · 事件 · 行业动态 · 媒体报道

英伟达通过上游 vLLM 优化，让 2.8 万亿参数 Kimi K3 推理提速 1.68 倍

调研机构 SemiAnalysis 称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user 的推理速度，对比相同硬件 GB300 NVL72 性能提升 1.68 倍。该优化由英伟达 CentML 工程师 Benjamin 完成，采用大规模 Megakernel 融合，用 Cute DSL 编写解码专用内核，代码约 1.2 万行。