Cognition 推出 FrontierCode 1.1:AI 写的代码维护者会合并吗?

2026.10.12 · 事件 · 行业动态 · 官方发布

新基准用真实开源仓库检验 AI 代码改动能否被维护者合并,顶尖模型失败率仍超 40%。

Cognition 与 36 个开源仓库维护者共建 FrontierCode 基准,让智能体对真实仓库做改动,由维护者标准判定是否可合并。1.1 版主集 100 个任务,Claude Opus 5.5 以 52 分、58% 通过率领先,但领先模型失败率仍超 40%。

  • FrontierCode 由 Cognition 联合 36 个开源仓库维护者…
  • 1.1 版主集 100 个任务,每任务跑 3 次
  • Claude Opus 5.5 以 52 分、58% 通过率居首
  • 9 个任务无任何模型通过,无任务被全部通过
  • GPT-6.1 Sol 每任务 0.81 美元得 49 分,性价比最高

为什么值得看

看清 AI 写代码离“可直接合并”还有多远

适合谁关注

关注 AI 编程能力与基准评测的开发者

原始来源