视频大模型不懂物理?接上模拟器,不用训练也能让水花「听话」

2026.10.29 · 收录日 2026.10.29 · 事件 · 论文 · 论文预印本

免训练框架 Fluid-Gen-Zero 让预训练视频模型生成符合物理的流体交互画面

Simon Fraser University、Stony Brook University、Lawrence Berkeley National Lab 和 Meta Reality Labs 团队提出免训练框架 Fluid-Gen-Zero,将物理运动与视觉外观解耦:由物理模拟器计算运动,预训练视频大模型合成画面,通过生成时规划和潜空间控制连接两者,无需更新视频生成模型参数。在 Tora、VACE、WanMove 上验证,物体轨迹误差降低 26.7%–81.5%,流体光流端点误差降低 67.9%–84.0%。

  • Fluid-Gen-Zero 将物理运动与视觉外观解耦,物理模拟器负责运动计算,预训练视频大模型负责视觉合成,全程不更新模型参数。
  • 引入 VLM 辅助的生成时规划,结合三维运动与接触变化、图像空间视觉运动变化和文本物理事件,避免在撞击、飞溅等关键瞬间切分视频。
  • 采用区域感知潜空间控制:物体区域在去噪早期施加较强约束,流体区域采用更柔和、逐渐衰减的约束,保留外观细节。
  • 在 VACE(1.3B)、Tora(5B)、WanMove(14B)三个模型上验证,物体轨迹误差降低 26.7%–81.5%,流体光流端点误差降低 67.9%–84.0%。
  • 双盲用户偏好评测中,与原始模型比较整体偏好比例 55.1%–74.4%,与 PhysGen3D、WonderPlay 比较分别达 94.2% 和 90.4%。

为什么值得看

免训练即可提升视频生成物理一致性,为流体交互场景提供新思路

适合谁关注

关注视频生成、物理仿真与多模态生成的研究者和开发者

原始来源

查看收录日 2026.10.29 全部卡片 · 全部卡片归档