世界建模是跨任务可复用的独立能力吗?Northwestern、CMU等用仅2k样本跨领域提升22项基准,并给出训练配方
2026.11.06 · 收录日 2026.11.06 · 观点 · 论文 · 论文预印本
团队把世界建模定义为状态转移并独立测量,发现38个前沿模型普遍缺失该能力。
Northwestern、CMU、UNC Chapel Hill 和 Amazon 团队在论文《WOVEN》中把世界建模收窄为对状态转移 p(s'|s,a) 的估计,构建 36K 道题的 WOVEN 基座独立测量该能力。他们发现 38 个前沿模型中最强的 GPT-5.4 答对 65.8%,人类 92.3%,且失败分布跨模型家族一致。后训练后 Qwen2.5-VL-3B 域内准确率从 26.4% 升至 89.3%,仅 2k 样本的受控子集可提升多达 22 个外部基准。
- 把世界建模收窄为状态转移 p(s'|s,a) 的估计,用视频生成模型构造反事实轨迹,建成 36K 道题的 WOVEN 基座。
- 38 个前沿模型中最强 GPT-5.4 答对 65.8%,人类 92.3%;时序相邻判断停在 25%–28%,几何扰动下掉到 30%。
- Qwen2.5-VL-3B 后训练后域内准确率从 26.4% 到 89.3%,未见场景 88.2%;约 7 小时生成视频的增益超过 12.5 万小时真实视频 mid-training。
- 11 个受控子集各仅 2000 条数据,迁移曲线两两正相关 r=0.86,被提升的外部基准最多达 22 个。
- 错误规则对照实验证明下游涨分依赖学到正确的转移规律;配方经 7 个未见基准前瞻验证,方向全部一致。
为什么值得看
揭示世界建模是可独立训练、跨任务复用的底层能力
适合谁关注
多模态大模型研究与训练从业者
