5000词需求文档,Claude也只能交付14%!实测28种Agent组合
2026.11.05 · 收录日 2026.11.05 · 事件 · 论文 · 论文预印本
复旦等机构提出LoLBench,用100项真实提案评测Agent在240万行代码系统中的交付能力。
复旦大学、香港城市大学、香港中文大学等机构提出LoLBench,从社区功能提案与已合并PR中选取100项任务,覆盖29个系统、8种语言和5个领域,把Agent放进平均约240万行源代码的软件系统,评估从功能提案到模块交付的完整过程。评测显示,6个前沿模型与5个脚手架的28个可用组合中,最高解决率仅14%,中位数仅2%。
- LoLBench选取100项任务,覆盖29个系统、8种语言和5个领域,提案平均约5000个英文单词。
- 目标类名在提案中平均提及率仅7.3%,不到SWE-bench Verified(15.9%)的一半。
- 仓库平均约240万行源代码,实现平均改动5499行、64.9个文件、40.1个类和195.9个函数。
- 28个Agent组合中,Opus 5搭配Claude Code或mini-SWE-agent以14%解决率并列最高,中位数仅2%。
- 补充修改文件树与API实现规范后,Opus 5+Claude Code解决率从14%升至34%,但最佳组合仍有66%任务未解决。
为什么值得看
看清Agent在大型软件系统真实交付中的能力边界与瓶颈。
适合谁关注
关注AI编程、Agent评测与软件工程的开发者。
