解锁具身智能的GPT时刻?浙大宇树开源500万条机器人预训练数据
2026.11.18 · 收录日 2026.11.18 · 模型 · 开源项目 · 论文预印本
浙大与宇树联合团队开源500万条经仿真验证的机器人动作数据,并训练出全模态动作模型Movens-Zero。
浙江大学与宇树科技具身智能联合实验室等团队开源预训练数据集Movens-5M,收录500万条经仿真执行验证的机器人动作,总时长超1万小时,覆盖297种细分动作、16类场景。基于该数据训练的Movens-Zero可依据文字、语音、音乐、视频四种输入生成机器人全身动作,并在宇树G1上完成真机演示。
- Movens-5M收录500万条机器人动作、1500万条人体动作,总时长超1万小时,覆盖297种动作、16类场景。
- 数据将文字指令、视频示范、语音和音乐与机器人动作配对,实现多模态对齐,并提供分时段、分身体部位的动作说明。
- 数据处理流水线含片段生成、质量筛选、语义标注、动作恢复、物理精修五个阶段。
- Movens-Zero支持文字、语音、音乐、视频四种输入生成全身动作,并在宇树G1上展示真机执行效果。
- Scaling实验显示:数据从1%增至100%,文字动作匹配得分从12.72%升至62.57%;动作专家从64.2M扩至910.5M,验证集损失下降67.4%。
为什么值得看
具身智能首个大规模开源动作数据集与全模态动作模型,验证了数据与模型规模扩展的持续收益。
适合谁关注
具身智能、机器人学习、多模态动作生成方向的研究者与开发者。
