AMD GPU 上 vLLM 投机解码实测：多种草稿方法吞吐差异显著
2026.09.08 · 事件 · 技术评测 · 官方发布
AMD 实测 vLLM 投机解码，吞吐因草稿方法和模型而异。
AMD 在 MI300X 和 MI355X GPU 上测试了 vLLM 的投机解码，对比五种草稿方法。结果显示，输出 token 吞吐量因草稿方法和提议长度而异，并受模型家族、草稿检查点、工作负载和接受行为影响。投机解码通过草稿-验证机制，可在一次目标模型验证中提交多个 token。
- 投机解码可一次验证多个草稿 token
- 吞吐受草稿方法和提议长度影响
- 测试平台：MI300X 和 MI355X GPU
- 五种草稿方法：MTP、EAGLE-3 等
- 验证从左到右，拒绝后丢弃后续候选
为什么值得看
了解投机解码在 AMD GPU 上的实际效果，优化推理吞吐。
适合谁关注
关注 LLM 推理性能的工程师和研究者。