用 LLM 生成置信度分数为什么不可靠
2026.10.22 · 观点 · 观点 · 社区热议
LLM 写出的置信度只是文本续写，不是对证据的测量
文章指出，许多智能体设计者让 LLM 直接生成置信度分数，但这个数字没有可信依据。作者用天气预报类比说明：可信的置信度需要反映预测所依据的信息量，并在同类问题上与实际结果校准过，而 LLM 逐 token 生成的“0.85”只是对话的合理续写，两者都不具备。
- LLM 逐 token 生成文本，置信度数字只是合理续写
- 可信置信度需反映信息量，并经过实际结果校准
- 校准需记录每次预测与实际结果，逐档比对命中率
- 仅靠校准不够，还需真正使用了新信息
- 预训练只以文本下一 token 为评分目标，非结果校准
为什么值得看
理解 LLM 置信度为何不能直接当作可靠性指标
适合谁关注
做 AI 智能体、评估与可靠性设计的开发者