llama.cpp 新增决策模型：一次前向传播直接输出选项概率
2026.10.02 · 产品 · 功能更新 · 官方发布
llama.cpp 服务器上线 /v1/systemone 端点，支持按选项打分而非生成文本的决策模型。
llama.cpp 服务器新增 /v1/systemone 端点，支持决策模型：输入状态（文本、JSON、截图）和带类型的问题，模型在单次前向传播中为每个选项返回概率。API 沿用 TypeSafe Jev 模型的 System One 格式，现有客户端只需更换 base URL，实现细节见 PR #29818。
- 新增 /v1/systemone 端点，单次前向传播返回选项概率
- 支持 choice、score、noul 三种问题类型
- 已支持 Julia-1、Laya、Kev-4B、lev、OpenJev 等模型
- OpenJev 支持图像输入，可分类文档或截图
- 路由器模式下可按请求选择不同模型
为什么值得看
决策模型把路由、审核、Agent 步骤校验变成一次打分调用。
适合谁关注
本地大模型部署者、Agent 开发者、推理服务运维。