Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能
2026.09.15 · 观点 · 行业动态 · 媒体报道
Trail of Bits 指出 1Password 报告夸大 AI 补丁失败率,并发布两个开源技能帮助验证补丁。
Trail of Bits 发布分析,批评 1Password 8 月 6 日报告中的 26% 干净修复率具有误导性,因其样本选择困难、包含故意错误指令、禁止测试等。Trail of Bits 重新分析数据,在合理条件下模型修复成功率达 86%,并发布 post-patch-validation 和 review-walkthrough 两个 Agent 技能。
- 1Password 报告 26% 干净修复率被指误导
- Trail of Bits 重分析显示合理条件下成功率 86%
- 发布两个 Agent 技能:补丁验证与审查
- 报告存在样本偏差、错误指令、禁止测试等问题
- 自动评分与人工评审一致性仅 65.9%
为什么值得看
揭示 AI 补丁能力被低估,影响防御者决策。
适合谁关注
安全团队、AI 辅助开发工具使用者、漏洞修复研究者