AI2 发布 Old Ideas, Novel Problems：LLM 评判研究创意新颖度可靠吗？
2026.10.28 · 观点 · 论文 · 官方发布
AI2 新研究显示，LLM 新颖性评判对提示词微调极不稳定，准确率波动超 50 个百分点。
AI2 发布研究 Old Ideas, Novel Problems，测试大模型能否可靠评判科研创意的新颖性。基于 ICLR 2026 评审构建基准，发现六个 LLM 评判器对同一批创意给出差异巨大的判断，仅改几个提示词词句，准确率波动超 50 个百分点；检索与额外推理并未稳定提升判断，两个专用系统反而不如简单提示的 Claude Opus 4.6 基线。
- AI2 发布论文、基准、数据与代码，并提供可自动构建新评测集的流水线。
- 基准含 Human-Only 与 Human+Generated 两种设置，前者含 154 个高新颖度与 145 个低新颖度人类创意。
- 测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 六个评判器。
- 仅改提示词几个词，模型判断两个创意哪个更新颖的准确率波动超 50 个百分点。
- 检索与额外推理未稳定改善判断，两个专用新颖性评估系统表现不如简单提示的 Claude Opus 4.6 基线。
为什么值得看
新颖性评判是 AI 辅助科研的关键一环，其可靠性存疑。
适合谁关注
关注 AI for Science、LLM 评估与科研自动化的研究者。