最强模型准确率仅39%!当Deep Search真正进入复杂的真实互联网
2026.10.30 · 收录日 2026.10.30 · 事件 · 论文 · 论文预印本
港科大(广州)等团队提出 OpenDS 任务范式与 200 题基准,12 个前沿模型最高仅 39% 准确率。
香港科技大学(广州)、复旦大学、华盛顿大学等团队在论文《Deep Search in Real-World Web Environments》中提出 OpenDS 任务范式,并构建评测基准 OpenDS-World。该基准含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求,12 个前沿模型在统一工具与预算下作答,最高准确率仅 39%。
- OpenDS-World 含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求。
- 12 个前沿模型使用同一套搜索、浏览器和视频工具,每题限 1 小时、100 次工具调用。
- 表现最好的 GPT-6 Astra 准确率 39%,Claude Opus 5.5 和 Gemini 3.8 Flash 分别为 38.0% 和 36.5%。
- GPT-6 Astra 执行记录中失败调用仅占 6.34%,却消耗了 42.57% 的工具执行时间。
- 50 名参与者独立求解 1,000 次作答共投入约 646 小时,仅 211 次得到正确答案。
为什么值得看
看清当前 Deep Search Agent 在真实开放网络中的能力边界。
适合谁关注
关注 AI Agent、搜索与评测基准的研究者和开发者。
