LeCun证明了:规模从未起作用,下一token路线效率低
2026.11.02 · 收录日 2026.11.02 · 观点 · 论文 · 论文预印本
论文把柏拉图表征假说变成定理,好视图 JEPA 样本效率提升约 42 倍。
LeCun 团队论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》从数学上论证了 next-token 预测路线效率低下,并把柏拉图表征假说变成定理。实验显示,1.09 亿参数的好视图 JEPA 在 WIT-1024 上取得 0.184 对齐分数,高于 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。
- 论文把柏拉图表征假说(PRH)从经验曲线变成定理,并给出可操作的充分条件。
- 好视图 JEPA 让模型学习同一场景的不同描述,样本效率相比下一 token 预测提升约 42 倍(按 token 计约 14 倍)。
- 1.09 亿参数模型在 WIT-1024 上取得 0.184 对齐分数,高于 Qwen2.5-72B 的 0.154 与 Llama-3-70B 的 0.151。
- 同规模对照中,下一 token 预测为 0.111、坏视图 JEPA 为 0.088,均低于好视图 JEPA 的 0.184。
- 组合 DINOv2、DINOv3 等组件后,系统在 COCO 上取得 0.838 的 CIDEr 分数。
为什么值得看
看 LeCun 世界模型路线如何用数学和实验挑战下一 token 预测。
适合谁关注
关注多模态表征、世界模型与 LLM 路线之争的研究者和开发者。
