Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能

2026.09.15 · 观点 · 行业动态 · 媒体报道

Trail of Bits 指出 1Password 报告夸大 AI 补丁失败率,并发布两个开源技能帮助验证补丁。

Trail of Bits 发布分析,批评 1Password 8 月 6 日报告中的 26% 干净修复率具有误导性,因其样本选择困难、包含故意错误指令、禁止测试等。Trail of Bits 重新分析数据,在合理条件下模型修复成功率达 86%,并发布 post-patch-validation 和 review-walkthrough 两个 Agent 技能。

  • 1Password 报告 26% 干净修复率被指误导
  • Trail of Bits 重分析显示合理条件下成功率 86%
  • 发布两个 Agent 技能:补丁验证与审查
  • 报告存在样本偏差、错误指令、禁止测试等问题
  • 自动评分与人工评审一致性仅 65.9%

为什么值得看

揭示 AI 补丁能力被低估,影响防御者决策。

适合谁关注

安全团队、AI 辅助开发工具使用者、漏洞修复研究者

原始来源