AI 写的代码比 473 个人工维护 Python 仓库冗长 2.3 倍:SlopCodeBench 拆解

2026.10.19 · 观点 · 论文 · 论文预印本

新基准测试 15 个模型在需求不断变化下的代码退化情况

有人制作视频解读 UW–Madison 的 SlopCodeBench(arXiv 2603.24755)。该基准让智能体在多个检查点持续扩展自己的代码,15 个模型均未完全解决 36 道题,最佳严格检查点通过率 14.8%(GPT 5.5),Opus 4.6 核心测试通过率最高 67.3%。

  • 15 个模型测试,无一完全解决 36 道题
  • 最佳严格检查点通过率 14.8%(GPT 5.5)
  • Opus 4.6 核心测试通过率最高 67.3%
  • 77% 运行出现结构侵蚀,75.5% 冗长增加
  • Agent 代码比 473 个人工仓库冗长 2.3 倍

为什么值得看

揭示多轮需求变更下 AI 代码质量退化

适合谁关注

关注 AI 编程与代码质量的开发者

原始来源