Google AI 团队分享如何为 LLM-as-a-Judge 评测编写可靠的评分标准
2026.09.03 · 观点 · 技巧 · 官方发布
Google 团队总结四条经验，用原子化布尔问题提升 LLM 评测可靠性。
Google 团队在 GitHub 发布 Agent Skills 套件，并采用 LLM-as-a-judge 方法评估复杂输出。他们发现模糊提示会导致噪声数据，因此将评分标准视为正式规范，用严格客观的布尔问题约束评判模型，以减少幻觉并提高一致性。文章分享了四条编写稳健评分问题的经验。
- 问题保持原子化且互不重叠
- 用客观事实约束评判者
- 只评估提示中明确要求的内容
- 避免给模型作弊机会
- 可选用更小更快的模型评分
为什么值得看
提供可操作的评分标准编写方法，提升 AI 评测可信度。
适合谁关注
AI 评测工程师、LLM 应用开发者及关注模型评估质量的技术人员。