大模型下个范式:文本生成先写提纲,速度能快31倍
2026.10.15 · 观点 · 论文 · 论文预印本
斯坦福与Together AI提出第三种文本生成范式NCM,先并行写概念大纲再逐层填充细节。
斯坦福大学与Together AI研究者提出NCM(下一概念建模),借鉴NeurIPS 2024最佳论文VAR的「下一尺度预测」,让模型先并行写出概念大纲再逐层细化。相对扩散语言模型实现10—31倍生成速度,LM1B上快约21倍、XSum摘要任务约31倍,训练token少用4.9倍和4倍。
- NCM先并行写概念大纲,再逐层并行填充细节
- 相对扩散语言模型生成速度快10—31倍
- LM1B无条件生成比强扩散基线快约21倍
- XSum摘要任务ROUGE-L相当,速度约31倍
- 数独困难题完整解出率86.1%,高于FMLM+的81.3%
为什么值得看
文本生成或从逐字蹦走向先想清楚再动笔的新范式
适合谁关注
关注大模型架构与文本生成效率的研究者和开发者