UC Berkeley 团队发布 Vero 基准:测试 AI 智能体能否构建形式化验证的软件仓库

2026.09.02 · 事件 · 基准发布 · 论文预印本

首个仓库级基准,要求 AI 同时编写实现与形式化证明,最强配置仅完成 27/43 实例。

UC Berkeley 等机构发布 Vero 基准,包含 43 个多模块 Lean 4 实例,要求 AI 智能体在仓库级别同时编写实现和形式化证明。最强配置 GPT-5.5 (xhigh) 在代码+证明模式下完整解决 27/43 实例,通过 87.3% 的规范,但仍有 10 个实例未被任何配置解决。

  • 首个仓库级形式化验证基准
  • 43 个多模块 Lean 4 实例
  • 最强配置完整解决 27/43
  • 10 个实例所有配置均未解决
  • 证明单个规范已非难点

为什么值得看

揭示 AI 在真实代码库中形式化验证的瓶颈,推动智能体长程推理能力发展。

适合谁关注

AI 编程工具开发者、形式化验证研究者、软件工程从业者

原始来源