两个世界彻底「连上了」!全新世界模型Duo v1开启实时交互
2026.11.17 · 收录日 2026.11.17 · 模型 · 新模型 · 媒体报道
Duo v1把智能体感知、决策与音视频生成整合进同一世界模型,可与用户实时双向互动。
蚂蚁团队联合西湖心辰提出双向世界模型范式RWM,并推出首个实现版本Duo v1。它通过Intent与Realization两个模块,将交互决策与音视频生成整合到同一架构,以约0.7秒为一个Chunk实现实时全双工交互,用户无需鼠标键盘即可展示实物、改变场景或参与音视频游戏。
- 提出双向世界模型RWM,让交互双方都成为主动参与者,持续感知对方音视频并实时反应
- Intent模块负责理解情境、推理意图并自主决策或,Realization负责生成语音、表情和画面动作
- 采用因果音视频扩散Transformer,引入3D-RoPE统一音频、视频和文本的时空关系
- 训练分三阶段:Intent监督微调、Realization联合生成、双Rollout蒸馏缩小训练与推理差异
- 设计编排式流式推理系统,Intent单次推理90至160毫秒,Realization生成720p音视频潜变量200至450毫秒
为什么值得看
世界模型从模拟物理环境走向让智能主体真正参与实时双向交互。
适合谁关注
关注世界模型、多模态交互与数字人的研究者和开发者。
