该如何评测大模型的探索能力？复旦、混元发布新基准ExplorationBench
2026.10.20 · 事件 · 论文 · 论文预印本
新基准让模型在规则被改写的沙盒中自主试错，考察其发现新规则的能力。
复旦大学、腾讯混元与清华大学联合推出 ExplorationBench，用编程语言 AlienCode 和逻辑证明系统 AlienLogic 两个「异星世界」评测 AI 的探索能力。读完示例时 AlienCode 最高分仅 15.7%，四轮探索后最好轨迹达 89.0%；若只让模型多想而不给环境反馈，最高只有 11.0%。
- AlienCode 有 31 处规则被改，AlienLogic 修改 24 条…
- 两个世界共 55 个发现目标和 140 道留出题
- AlienCode 四轮探索后最好轨迹达 89.0%，七个系统超 60%
- 无工具作答时 AlienCode 仅 0.5%–11.0%，反馈至关重要
- 自主探索中位数 67.4%，远高于固定探针的 5.7%
为什么值得看
揭示大模型能否在未知环境中自主发现规则，而非只靠记忆。
适合谁关注
关注大模型评测、智能体与 AI 前沿研究的人。