AI 写的代码比 473 个人工维护 Python 仓库冗长 2.3 倍:SlopCodeBench 拆解
2026.10.19 · 观点 · 论文 · 论文预印本
新基准测试 15 个模型在需求不断变化下的代码退化情况
有人制作视频解读 UW–Madison 的 SlopCodeBench(arXiv 2603.24755)。该基准让智能体在多个检查点持续扩展自己的代码,15 个模型均未完全解决 36 道题,最佳严格检查点通过率 14.8%(GPT 5.5),Opus 4.6 核心测试通过率最高 67.3%。
- 15 个模型测试,无一完全解决 36 道题
- 最佳严格检查点通过率 14.8%(GPT 5.5)
- Opus 4.6 核心测试通过率最高 67.3%
- 77% 运行出现结构侵蚀,75.5% 冗长增加
- Agent 代码比 473 个人工仓库冗长 2.3 倍
为什么值得看
揭示多轮需求变更下 AI 代码质量退化
适合谁关注
关注 AI 编程与代码质量的开发者