从 Computer-Use 到 Robot-Use：一套接口让 VLM 直接「玩转」真实机器人
2026.09.27 · 产品 · 开源项目 · 论文预印本
新加坡国立大学 Show Lab 提出 Show-Harness，用语义动作接口连接 VLM 与真实机器人。
新加坡国立大学 Show Lab 提出 Show-Harness，在 foundation model 与机器人之间加入一层语义动作接口，让 VLM 无需输出连续控制量即可闭环控制真机。团队还构建 GUMI，把同一套动作做成 GUI，人类、Computer-Use agent 与 VLM 共用同一动作语义。
- Show-Harness 用语义动作单元替代连续控制量回归
- GUMI 将语义动作做成 GUI，人类与 agent 共用
- 真机采集 164 条遥操数据、约 7.8K 决策步骤
- 仿真采集 230 条遥操数据、13.5K 决策步骤
- 轻量后训练仅更新约 3% 参数
为什么值得看
理解 VLM 如何以接口方式进入真实机器人控制
适合谁关注
具身智能、机器人控制与多模态 Agent 研究者