BenchMIRT：用多维项目反应理论审计 LLM 基准测试到底在测什么
2026.09.02 · 事件 · 论文 · 论文预印本
AI2 推出 BenchMIRT，逐题审计 LLM 基准，发现 BBQ 等测试实际测的是推理而非安全。
AI2 发布 BenchMIRT，一种在单个提示层面审计 LLM 基准的新方法。它基于多维项目反应理论（MIRT），对 100 个 LLM 在 16 个基准、超过 34K 个问题上的表现进行训练，独立恢复了安全和通用推理两个主导维度。分析发现 BBQ 基准与推理的关联强于安全，WMDP 也更多反映推理能力。
- BenchMIRT 逐题审计基准，分离混合信号
- 基于多维 IRT，训练数据含 100 模型、16 基准、34K+ 问题
- 独立恢复安全与通用推理两个主导维度
- BBQ 和 WMDP 实际更偏向通用推理
- HarmBench 显示单一基准可混合不同信号
为什么值得看
揭示常用基准的真实测量对象，避免分数误读。
适合谁关注
LLM 评测研究者、模型开发者和安全评估人员。