从发现漏洞到判定作弊：BenchShield提出Reward Hacking检测新框架
2026.09.29 · 事件 · 论文 · 论文预印本
新框架把检查扩展到产生分数的全过程，区分漏洞暴露与 Agent 实际违规。
达特茅斯学院、加州大学伯克利分校、BenchFlow AI 等机构提出 BenchShield，将 reward hacking 检查从漏洞分类扩展到产生分数的完整流程。它用静态分析查找潜在利用路径，再结合运行时证据判断 Agent 是否尝试或实际使用漏洞，并给出 Checked、VectorExposed、AgentViolation、Inconclusive 四种判定。
- BenchShield 追踪环境初始化到评分读取的全流程
- 提出 I1 至 I6 结构性要求与 I7 语义检查
- 静态分析用 capability graph 与污点分析找利用路径
- 运行时记录事件并区分漏洞暴露与实际违规
- 基于 31,000 多次运行筛选复核 456 条轨迹
为什么值得看
看清 Agent 高分背后是真解题还是钻评测空子。
适合谁关注
评测基准设计者、Agent 研究者与安全审计人员。