混合架构用线性注意力还是滑窗注意力?复旦创智OpenMOSS团队:我全都要
2026.11.01 · 收录日 2026.11.01 · 观点 · 论文 · 论文预印本
复旦创智团队系统比较滑窗与线性注意力混合架构,提出六条长上下文设计结论。
复旦大学与上海创智学院 OpenMOSS 团队发表论文《混合架构的长文力学》,在 376M 至 3B 四种规模上比较 RoPE/NoPE 全注意力、滑窗注意力与 GLA/GDN 门控线性注意力的混合架构。研究提出混合位置视角,发现滑窗混合长度外推更强但扩长训练较弱,线性混合则相反,并给出滑窗线性注意力等改进方案。
- 混合位置(NoPE 与带位置偏置注意力混合)在长度外推与长文训练中更有效,可实现即插即用外推。
- 滑窗混合存在跷跷板效应:SWA-NoPE 长度外推强,但长文续训后被 GLA-NoPE、GDN-NoPE 超过。
- 线性混合没有免费午餐:扩长训练拟合更好,但长度外推不如滑窗混合。
- 短窗口疲惫与长窗口懒惰:短窗口利于长度外推,长窗口利于扩长训练,存在短上下文学习陷阱。
- 提出滑窗线性注意力 SWLA,在 RULER NIAH-SK1 上从 4k 训练外推到 64k,达 16 倍免训练外推并保持 100% 准确率。
为什么值得看
揭示混合架构中滑窗与线性注意力的取舍机制,给出可落地的改进方案。
适合谁关注
长上下文大模型架构研究者与训练工程师
