清华团队构建HandsOn灵巧操作基准,66项任务全方位评测机器人双手能力
2026.10.25 · 事件 · 论文 · 论文预印本
清华联合多校发布HandsOn基准,含66项任务与1.8万条人类遥操作示范,评测灵巧手操作能力。
清华大学丁宁团队联合北京邮电大学、北京大学及自然意志Nature Will,构建了面向跨本体灵巧操作的仿真平台与评测基准HandsOn,包含66项人工验证任务和18,000条人类仿真遥操作示范。基准分为提供示范的Core-50与仅用于泛化的Transfer-16,评测显示表现最好的受训多任务策略在Core-50成功率仅29.1%,Transfer-16上8种策略平均成功率均低于1%。
- HandsOn包含66项任务、18,000条人类仿真遥操作示范,支持5种机械臂、6种灵巧手和约200种物体资产。
- 任务分为Core-50(提供训练示范)与Transfer-16(不提供目标任务示范,专测泛化),覆盖工具使用、精细接触、双手协作与任务迁移。
- 评测10种方法:5种VLA、3种WAM、Diffusion Policy及零样本GPT-6;Core-50最高任务平均成功率29.1%,Transfer-16上8种多任务策略均低于1%。
- GPT-6未经基准微调,通过move_eef接口控制,660次测试中Core-50和Transfer-16成功率分别为5.2%和1.9%。
- 数据规模实验显示,放球任务成功率从7%提升至83%,剪刀任务从1%提升至44%,但工具功能动作仍明显更难。
为什么值得看
灵巧手操作长期缺少系统评测标尺,该基准给出真实能力差距。
适合谁关注
机器人操作、具身智能与灵巧手方向的研究者和工程师。