让JEPA真正理解世界背后的生成机制，DSReg让世界模型的每一维都有了真实含义
2026.10.26 · 产品 · 论文 · 论文预印本
UIUC等团队提出DSReg，无需重建或标签即可把JEPA表征拆解为可识别的世界隐变量。
来自UIUC、冷泉港实验室、布朗大学、马普所的研究者提出 DSReg，可直接加在已训练好的 JEPA 上，让学到的每一维对应一个真实世界变量，无需重建观测、解码器或标签。团队为其建立理论框架，得到首个完全可识别的 JEPA，并在多个下游任务上优于 LeJEPA。
- DSReg 可直接加在预训练 JEPA 表征上，复用现有 LeJEPA checkpoint，效果接近联合训练
- 方法分三步：用近邻岭回归估计局部 Jacobian、在正交矩阵上最小化稀疏度、输出旋转后的每一维
- 在 Structural Diversity 假设下，DSReg 能把所有隐变量恢复出来，最多只差顺序和正负号
- 在合成数据、3DShapes、dSprites 上恢复效果接近上限，超过 β-VAE 和 β-TCVAE
- 单卡 48GB 可处理 8192 维隐变量，六个下游任务均优于 LeJEPA 且预测性能不变
为什么值得看
世界模型能否真正理解观测背后的生成机制，是可靠泛化的关键。
适合谁关注
关注世界模型、表征学习与机器人泛化的研究者与工程师。