5000词需求文档,Claude也只能交付14%!实测28种Agent组合

2026.11.05 · 收录日 2026.11.05 · 事件 · 论文 · 论文预印本

复旦等机构提出LoLBench,用100项真实提案评测Agent在240万行代码系统中的交付能力。

复旦大学、香港城市大学、香港中文大学等机构提出LoLBench,从社区功能提案与已合并PR中选取100项任务,覆盖29个系统、8种语言和5个领域,把Agent放进平均约240万行源代码的软件系统,评估从功能提案到模块交付的完整过程。评测显示,6个前沿模型与5个脚手架的28个可用组合中,最高解决率仅14%,中位数仅2%。

  • LoLBench选取100项任务,覆盖29个系统、8种语言和5个领域,提案平均约5000个英文单词。
  • 目标类名在提案中平均提及率仅7.3%,不到SWE-bench Verified(15.9%)的一半。
  • 仓库平均约240万行源代码,实现平均改动5499行、64.9个文件、40.1个类和195.9个函数。
  • 28个Agent组合中,Opus 5搭配Claude Code或mini-SWE-agent以14%解决率并列最高,中位数仅2%。
  • 补充修改文件树与API实现规范后,Opus 5+Claude Code解决率从14%升至34%,但最佳组合仍有66%任务未解决。

为什么值得看

看清Agent在大型软件系统真实交付中的能力边界与瓶颈。

适合谁关注

关注AI编程、Agent评测与软件工程的开发者。

原始来源

查看收录日 2026.11.05 全部卡片 · 全部卡片归档