Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
2026.10.03 · 观点 · 技术实测 · 社区热议
Baseten 工程师用 MetaInfer 技能框架生成定制推理引擎，单流解码速度最高超 vLLM 90%。
Baseten 工程师在 Slack 论文讨论中注意到 MetaInfer——一个仅靠技能、无需后训练即可从零构建定制推理引擎的框架。他在单张 B200 上以 NVFP4 精度运行 Qwen-3.6-35B-A3B，生成的引擎单流解码速度比 vLLM 0.25.1 快最多 90%，TTFT 快 2.33 倍。
- MetaInfer 仅用技能框架构建定制推理引擎，无需模型后训练
- 实测模型为 Qwen-3.6-35B-A3B，NVFP4 精度，单张 B200
- 单流解码速度比 vLLM 0.25.1 快最多 90%
- TTFT 快 2.33 倍，开启此前不实用的超低延迟场景
- 通用引擎未针对特定模型+加速器+负载组合做极致优化
为什么值得看
展示 LLM 自动优化推理引擎的可行性与实测收益
适合谁关注
推理引擎开发者、模型部署与性能优化工程师