llama.cpp v0.6.0 发布：新增 MTP 投机解码与扩展批处理 API
2026.10.06 · 产品 · 开源项目 · 开源项目
llama.cpp v0.6.0 带来扩展批处理 API、GLM-5.3-Flash 等新模型与多项推理加速。
llama.cpp 发布 v0.6.0，引入新的 llama_batch_ext 扩展批处理 API（含 llama_process），支持混合 token/embedding 输入与 MTP/deepstack 状态嵌入。同时新增 GLM-5.3-Flash（GLM5-Next）320B 混合模型、Clef 决策模型，并为 Qwen4Exp 加入 MTP 投机解码，在 DGX Spark 上解码约提速…
- 新增 llama_batch_ext 扩展批处理 API 与 llama_pro
- 新增 GLM-5.3-Flash 320B 文本+视觉混合模型
- Qwen4Exp 支持 MTP 投机解码，解码约提速 1.5 倍
- 新增 /v1/systemone 决策模型服务端 API
- Metal 新增 F16 KV 的 flash attention 张量内核
为什么值得看
一次版本更新覆盖 API、模型支持与多平台推理加速，值得跟进。
适合谁关注
本地大模型部署者、llama.cpp 用户与推理优化开发者。