CWE-bench v2 发布:100 个真实漏洞修复任务覆盖 91 类 CWE
2026.11.03 · 收录日 2026.11.04 · 产品 · 开源项目 · 官方发布
Collinear AI 开源 100 个真实仓库安全修复任务,评分全程序化可复现。
Collinear AI 发布 CWE-bench v2,公开 100 个任务,让智能体在真实开源仓库中定位并修复安全弱点且不破坏原有功能。任务覆盖 91 种 CWE,评分完全程序化、结果确定可复现,并另设未公开的 held-out 集。11 个模型评测中 Gemini 4 Argon 以 67.8% pass@1 领先。
- 公开 100 个任务,覆盖 91 种 CWE,横跨多种漏洞类别
- 智能体拿到真实开源仓库检出和简短指令,需找到并修复安全弱点且不破坏功能
- 评分完全程序化,结果确定、可复现且无需额外成本
- 另设 held-out 集,用于跟踪模型未见过任务的进展
- 11 个模型中 Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先,Claude Opus 5.5 为 67.3% pass@1
为什么值得看
可复现的公开安全基准,能看清前沿模型修漏洞的真实上限。
适合谁关注
安全研究者、模型评测人员、做代码智能体的团队。
