同等预算下，Looped Transformer更强吗？清华、字节Seed给出答案
2026.09.08 · 事件 · 论文 · 论文预印本
清华与字节Seed提出SMELT，证明循环架构在同等预算下优于普通Transformer。
清华大学与字节跳动Seed团队在论文SMELT中，通过同时对齐算力、参数量和KV cache，首次公平比较了Looped Transformer与普通Transformer。研究发现，在全部16个匹配配置上，SMELT均取得更低验证损失，且达到相同loss所需训练算力节省6.8%–18.0%。
- 提出预算匹配框架，对齐算力、参数量和KV cache
- 最优配方：循环中间50%层两次，采用更大执行深宽比
- SMELT在16个配置上均取得更低验证损失
- 训练算力节省6.8%–18.0%，随预算增大而扩大
- 下游任务中，SMELT在83/96组DCLM配置上得分更高
为什么值得看
首次公平比较循环架构，为Looped Transformer提供严谨证据。
适合谁关注
关注大模型架构创新与效率优化的研究者。