答对了,理由却错了:港科大提出LexAgentHallu,追踪智能体的「隐性幻觉」
2026.09.26 · 事件 · 论文 · 论文预印本
港科大提出法律智能体幻觉评测基准,把检查对象从最终答案扩展到完整执行轨迹。
香港科技大学研究团队提出智能体幻觉评测基准 LexAgentHallu,将观察对象从最终答案扩展到完整执行轨迹,并把错误定位到具体步骤。该基准收录 3414 个实例,覆盖 17 个法律类别和 6 类任务,含 7 个中层类别和 27 个细粒度子类。评测 18 种智能体配置显示,即使表现最好的配置仍有 89% 的轨迹至少出现一次幻觉。
- LexAgentHallu 收录 3414 个实例,覆盖 17 个法律类别和 6
- 双层分类体系含 7 个中层类别和 27 个细粒度子类
- 评测 18 种智能体配置,最好配置仍有 89% 轨迹出现幻觉
- RAWR 指标:答案正确样本中平均 68% 轨迹含法律内容幻觉
- 判决分析法律内容幻觉频率达 1.00,案例分析为 0.95
为什么值得看
揭示智能体“答案对、理由错”的隐性风险,提供可定位的评测思路。
适合谁关注
法律 AI 从业者、智能体开发者、大模型评测研究者。