看懂不等于做对:VA-Bench测出大模型空间智能的执行断层
2026.10.05 · 事件 · 论文 · 论文预印本
新基准VA-Bench显示,多模态模型目标识别近满分,完整操作成功率却仅约一半。
机器之心报道,VA-Bench把空间智能放进「观察→推理→行动→修正」闭环,测试12个主要多模态模型。表现最好的模型在目标识别与定位上达100%、操作语义理解达99.6%—100%,但完整任务成功率只有约一半,Qwen3.8-max、Opus-5、GPT-5.6-sol分别为53.93%、52.86%和51.55%。
- VA-Bench含14类任务、280个物理验证场景,含11类单臂和3类双臂
- 前三模型目标识别与定位达100%,操作语义理解达99.6%—100%
- 完整任务成功率仅约一半,子任务完成率65.9%—68.6%
- 错误发现得分约七成,在线修正仅27.3%—46.7%
- 双臂任务成功率骤降至约11%,几何迁移后明显下降
为什么值得看
揭示大模型从「看懂」到可靠行动之间的真实能力断层。
适合谁关注
关注具身智能、机器人操作与多模态大模型评测的研究者和从业者。