VLM脑中真有一张3D地图？匹兹堡大学挖出了新证据
2026.10.20 · 事件 · 论文 · 论文预印本
匹兹堡大学从VLM隐空间提取出可观察的三维场景拓扑结构
匹兹堡大学电气与计算机工程系的 Haoming Wang 与 Wei Gao 将研究视角从模型最终答案转向隐空间，通过跨场景特征分离与低维可视化，在 VLM 中间层观察到更清晰的空间结构。圆环、网格和随机布局都能在提取后的表征中找到对应，论文已被 NeurIPS 2026 录用为 spotlight paper。
- 从模型隐空间而非最终答案入手分析空间理解
- 中间层表征更清晰保留场景结构与邻接关系
- 用 Dirichlet 能量检验隐空间邻域关系一致性
- 沿空间方向扰动可定向改变坐标探针读数
- 加入 Dirichlet 能量微调后 VSI-Bench 准确率提升
为什么值得看
把“模型是否理解空间”变成可观察、可检验的问题
适合谁关注
关注多模态模型可解释性与空间推理的研究者