10小时数据+一段人手视频=？SkeLAM的零样本跨形态迁移
2026.10.27 · 事件 · 论文 · 论文预印本
哈工大深圳等提出SkeLAM，用骨架监督潜在动作，实现人手视频到机械臂的零样本迁移。
哈尔滨工业大学（深圳）、新加坡国立大学 Show Lab 等提出 SkeLAM，基于预训练 Cosmos-Predict2.5-2B，用约 10 小时机器人交互数据训练。它用机器人骨架监督视频中的潜在动作，让运动隐向量更准确表征机器人运动。在 DROID 评测中，相比 DreamDojo，末端轨迹误差降低 19.5%，LPIPS 降低 11.1%。
- SkeLAM 基于预训练 Cosmos-Predict2.5-2B，使用约 10 小时机器人交互数据训练。
- 用机器人骨架监督潜在动作中的运动分量，残差表示保留物体响应等视觉变化。
- 人手到机器人迁移时模型参数全部冻结，无额外微调，生成机械臂仍呈现对应运动方向。
- DROID 评测中，相比 DreamDojo，末端轨迹误差降低 19.5%，LPIPS 降低 11.1%。
- 训练轻量动作适配器，将真实机器人动作映射到运动分量，再微调世界模型。
为什么值得看
了解零样本跨形态运动迁移如何用骨架监督对齐机器人控制。
适合谁关注
机器人学习、世界模型与具身智能研究者。