whatmodel.sh 新分析:AI 实验室自报基准分平均比独立测试高 6.4%

2026.10.12 · 事件 · 数据分析 · 本人发布

同一排行榜用 611 组对比发现实验室自报分偏高 6.4%

开源 AI 排行榜 whatmodel.sh 的作者用 1,629 条已发布基准结果,匹配出 180 个模型在 103 个基准上的 611 组对比,发现 AI 实验室自报分数平均比独立测试者高 6.4%。数据集以 CC BY-SA 4.0、代码以 MIT 开源,每个模型页面记录来源与许可证,并附交互图表。

  • 1,629 条基准结果匹配出 611 组对比
  • 覆盖 180 个模型、103 个基准
  • 实验室自报分平均比独立测试高 6.4%
  • 数据集 CC BY-SA 4.0、代码 MIT 开源
  • 每个模型页面记录来源与许可证

为什么值得看

揭示厂商自报基准分系统性偏高,影响模型选型判断

适合谁关注

whatmodel.sh 作者 jakemanger

原始来源