whatmodel.sh 新分析:AI 实验室自报基准分平均比独立测试高 6.4%
2026.10.12 · 事件 · 数据分析 · 本人发布
同一排行榜用 611 组对比发现实验室自报分偏高 6.4%
开源 AI 排行榜 whatmodel.sh 的作者用 1,629 条已发布基准结果,匹配出 180 个模型在 103 个基准上的 611 组对比,发现 AI 实验室自报分数平均比独立测试者高 6.4%。数据集以 CC BY-SA 4.0、代码以 MIT 开源,每个模型页面记录来源与许可证,并附交互图表。
- 1,629 条基准结果匹配出 611 组对比
- 覆盖 180 个模型、103 个基准
- 实验室自报分平均比独立测试高 6.4%
- 数据集 CC BY-SA 4.0、代码 MIT 开源
- 每个模型页面记录来源与许可证
为什么值得看
揭示厂商自报基准分系统性偏高,影响模型选型判断
适合谁关注
whatmodel.sh 作者 jakemanger