最强GPT-6 Astra只对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI
2026.11.17 · 收录日 2026.11.17 · 模型 · 论文 · 论文预印本
Einsia AI旗下Navers Lab发布长程视觉推理基准,8个前沿模型最高仅答对26.7%。
Einsia AI旗下Navers Lab发布Agent视觉推理基准Visual Cipher Bench,含40道原创视觉谜题、67张黑白线稿,线索只在图里、对错无反馈。8个前沿模型、29种配置共3480次尝试,最强GPT-6 Astra(max)仅答对26.7%,三个模型一题未对。
- 基准含40道原创视觉谜题、67张黑白线稿,分空间操作、逻辑规划、规则归纳、知识解码四类各10道
- 8个模型、29种推理强度配置各跑三遍,共3480次尝试,榜首GPT-6 Astra(max)仅26.7%
- DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro三个模型一题没对,29个配置无一摸到30%
- 题型偏科严重:空间操作22.8%,知识解码3.3%,逻辑规划2.4%,规则归纳仅0.6%(870次只对5次)
- 加一句核心规则提示后总体准确率从12.2%升至51.1%,规则归纳从0%升至85.2%
为什么值得看
首次量化AI长程视觉推理短板,揭示规则归纳是当前最大瓶颈。
适合谁关注
关注AI Agent、多模态推理与模型评测的研究者和开发者。
