答对了,理由却错了:港科大提出LexAgentHallu,追踪智能体的「隐性幻觉」

2026.09.26 · 事件 · 论文 · 论文预印本

港科大提出法律智能体幻觉评测基准,把检查对象从最终答案扩展到完整执行轨迹。

香港科技大学研究团队提出智能体幻觉评测基准 LexAgentHallu,将观察对象从最终答案扩展到完整执行轨迹,并把错误定位到具体步骤。该基准收录 3414 个实例,覆盖 17 个法律类别和 6 类任务,含 7 个中层类别和 27 个细粒度子类。评测 18 种智能体配置显示,即使表现最好的配置仍有 89% 的轨迹至少出现一次幻觉。

  • LexAgentHallu 收录 3414 个实例,覆盖 17 个法律类别和 6
  • 双层分类体系含 7 个中层类别和 27 个细粒度子类
  • 评测 18 种智能体配置,最好配置仍有 89% 轨迹出现幻觉
  • RAWR 指标:答案正确样本中平均 68% 轨迹含法律内容幻觉
  • 判决分析法律内容幻觉频率达 1.00,案例分析为 0.95

为什么值得看

揭示智能体“答案对、理由错”的隐性风险,提供可定位的评测思路。

适合谁关注

法律 AI 从业者、智能体开发者、大模型评测研究者。

原始来源