视频世界模型终于不「失忆」了!Meta提出World-T³:把记忆写进参数,单卡20.6FPS实时生成
2026.10.28 · 事件 · 论文 · 论文预印本
Meta等团队提出World-T³,用测试时训练把历史观测写进快速权重,实现长时重访不失忆。
Meta Reality Labs、伊利诺伊大学芝加哥分校和布朗大学团队提出World-T³,通过测试时训练把滑出上下文窗口的历史观测按相机位姿写进快速权重,实现持久记忆。重访PSNR从13.52 dB提升到18.31 dB,绝对旋转误差从3.344°降到1.075°,4步模型在单张NVIDIA B200上以1280×704分辨率跑出20.6 FPS。
- World-T³在扩散Transformer每层挂载轻量TTT记忆模块,以相机位姿为索引读写场景特征,记忆大小固定。
- 记忆写入用递归最小二乘求解带权岭回归,只写入与已有记忆不重复的新信息,避免重复内容冲淡旧记忆。
- 双教师蒸馏把50步自回归模型压缩为4步生成器,兼顾短程画质与长程空间一致性。
- 在120段「去程+返程」基准上,4步World-T³在全部6项重访一致性指标上均排名第一。
- 工程优化使端到端速度提升3.12倍,30秒视频生成时间从70.48秒降到22.59秒。
为什么值得看
长时视频世界模型首次做到实时生成且不遗忘场景。
适合谁关注
视频生成、世界模型与具身智能方向的研究者和开发者。