破局硅谷头号难题!中国AI「魂穿」老电影,神器全民开放

2026.11.14 · 收录日 2026.11.14 · 模型 · 新模型 · 媒体报道

中国具身智能公司维他动力推出跨视角生成模型与数据管线,并向所有人开放

维他动力发布跨视角生成模型Exo2EgoPolicy,可将任意第三人称视频一键转为第一人称视角,并输出左右手各21个关键点的3D手部骨骼。同时推出端到端数据管线Vbot Echo与采集应用Echo App,即日起向所有人开放。

  • Exo2EgoPolicy以140亿参数、50层H3 Ref2VA DiT视频生成网络为主干,前端并联冻结的H3 Video VAE编码器与Qwen多模态编码器。
  • 模型训练前半程注入6D普吕克相机光线投影,后半程关闭外部几何输入,流匹配误差反而下降7.9%至11.2%。
  • 在546段真实场景评测中,零先验推理的Exo2EgoPolicy击败仍需几何先验的开源基线EgoX,长时序PSNR提升3.25 dB,FVD误差暴降39.8%。
  • 手部关键点定位精度PCK@5%从11.52%翻倍至20.02%,新场景下手部关节有效覆盖率高达98.92%。
  • Echo App调用手机ToF深度传感器或双目相机采集,19秒手机视频经云端管线可驱动双臂人形机器人真机完成收盘子等操作。

为什么值得看

机器人数据稀缺难题有了新解法,普通人手机视频也能变成训练数据

适合谁关注

具身智能、机器人学习、视频生成方向的研究者与从业者

原始来源

查看收录日 2026.11.14 全部卡片 · 全部卡片归档