最强模型准确率仅39%!当Deep Search真正进入复杂的真实互联网

2026.10.30 · 收录日 2026.10.30 · 事件 · 论文 · 论文预印本

港科大(广州)等团队提出 OpenDS 任务范式与 200 题基准,12 个前沿模型最高仅 39% 准确率。

香港科技大学(广州)、复旦大学、华盛顿大学等团队在论文《Deep Search in Real-World Web Environments》中提出 OpenDS 任务范式,并构建评测基准 OpenDS-World。该基准含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求,12 个前沿模型在统一工具与预算下作答,最高准确率仅 39%。

  • OpenDS-World 含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求。
  • 12 个前沿模型使用同一套搜索、浏览器和视频工具,每题限 1 小时、100 次工具调用。
  • 表现最好的 GPT-6 Astra 准确率 39%,Claude Opus 5.5 和 Gemini 3.8 Flash 分别为 38.0% 和 36.5%。
  • GPT-6 Astra 执行记录中失败调用仅占 6.34%,却消耗了 42.57% 的工具执行时间。
  • 50 名参与者独立求解 1,000 次作答共投入约 646 小时,仅 211 次得到正确答案。

为什么值得看

看清当前 Deep Search Agent 在真实开放网络中的能力边界。

适合谁关注

关注 AI Agent、搜索与评测基准的研究者和开发者。

原始来源

查看收录日 2026.10.30 全部卡片 · 全部卡片归档