vLLM 0.31 加入约束解码，Kimi 与 DeepSeek 工具调用准确率达 100%
2026.10.26 · 产品 · 功能更新 · 社区热议
vLLM 0.31 新增服务端约束解码开关，可保证工具调用 schema 完全合规。
有团队为让 Kimi 和 DeepSeek 的工具调用 schema 准确率达到 100%，一直维护自己的 vLLM 分支。用 vLLM 0.28 服务 Kimi K2.6 时，只有 92% 的工具调用符合预期 schema，即每 25 次有 2 次失败。vLLM 0.31 新增约束解码的服务端开关，开启后新版本 Kimi 和 DeepSeek 可达 100% schema 准确率。
- 工具调用不准确会污染上下文，在多轮智能体场景中尤其影响质量与成本
- 用 vLLM 0.28 服务 Kimi K2.6 时，工具调用 schema 准确率仅 92%，每 25 次失败 2 次
- vLLM 新增约束解码，可保证输出严格遵循 schema
- 该功能在 vLLM 0.31 以服务端 flag 形式发布，开启后新 Kimi 与 DeepSeek 可达 100% 准确率
- Moonshot AI 发布 K2VV ToolCall 基准，含 2000 条请求，用于验证服务商提供的 Kimi 质量
为什么值得看
工具调用失败会污染上下文，直接影响智能体任务成败。
适合谁关注
部署开源模型的推理工程师与智能体开发者