两个世界彻底「连上了」!全新世界模型Duo v1开启实时交互

2026.11.17 · 收录日 2026.11.17 · 模型 · 新模型 · 媒体报道

Duo v1把智能体感知、决策与音视频生成整合进同一世界模型,可与用户实时双向互动。

蚂蚁团队联合西湖心辰提出双向世界模型范式RWM,并推出首个实现版本Duo v1。它通过Intent与Realization两个模块,将交互决策与音视频生成整合到同一架构,以约0.7秒为一个Chunk实现实时全双工交互,用户无需鼠标键盘即可展示实物、改变场景或参与音视频游戏。

  • 提出双向世界模型RWM,让交互双方都成为主动参与者,持续感知对方音视频并实时反应
  • Intent模块负责理解情境、推理意图并自主决策或,Realization负责生成语音、表情和画面动作
  • 采用因果音视频扩散Transformer,引入3D-RoPE统一音频、视频和文本的时空关系
  • 训练分三阶段:Intent监督微调、Realization联合生成、双Rollout蒸馏缩小训练与推理差异
  • 设计编排式流式推理系统,Intent单次推理90至160毫秒,Realization生成720p音视频潜变量200至450毫秒

为什么值得看

世界模型从模拟物理环境走向让智能主体真正参与实时双向交互。

适合谁关注

关注世界模型、多模态交互与数字人的研究者和开发者。

原始来源

查看收录日 2026.11.17 全部卡片 · 全部卡片归档