Cognition 推出 FrontierCode 1.1:AI 写的代码维护者会合并吗?
2026.10.12 · 事件 · 行业动态 · 官方发布
新基准用真实开源仓库检验 AI 代码改动能否被维护者合并,顶尖模型失败率仍超 40%。
Cognition 与 36 个开源仓库维护者共建 FrontierCode 基准,让智能体对真实仓库做改动,由维护者标准判定是否可合并。1.1 版主集 100 个任务,Claude Opus 5.5 以 52 分、58% 通过率领先,但领先模型失败率仍超 40%。
- FrontierCode 由 Cognition 联合 36 个开源仓库维护者…
- 1.1 版主集 100 个任务,每任务跑 3 次
- Claude Opus 5.5 以 52 分、58% 通过率居首
- 9 个任务无任何模型通过,无任务被全部通过
- GPT-6.1 Sol 每任务 0.81 美元得 49 分,性价比最高
为什么值得看
看清 AI 写代码离“可直接合并”还有多远
适合谁关注
关注 AI 编程能力与基准评测的开发者