大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

2026.11.21 · 收录日 2026.11.21 · 模型 · 论文 · 论文预印本

清华北大团队发现注意力汇聚会形成梯度汇聚,巨大激活通过RMSNorm调节局部梯度

清华大学、北京大学研究团队在NeurIPS 2026接收论文中,从反向传播视角研究大模型中的注意力汇聚与巨大激活现象。他们发现注意力汇聚会把训练信号集中到少数Token上形成梯度汇聚,而巨大激活可通过RMSNorm衰减这些局部集中的梯度,起到梯度调节作用。

  • 注意力汇聚指序列开头少数Token吸引大量注意力,即使语义不多,模型仍频繁关注它们
  • 研究团队在从头训练模型和多款开源模型上测量,发现RMSNorm后注意力输入处梯度集中普遍存在,首Token梯度范数通常高出其他早期位置平均值一到两个数量级
  • 拆分Query、Key、Value路径后,Key和Value路径在首Token处出现突出峰值,Value路径最显著,Query路径相对平缓
  • RMSNorm的雅可比矩阵算子范数上界与输入均方根尺度成反比,激活尺度越大对反向梯度收缩能力越强
  • 研究提出V-scale方法,在0.3B模型中梯度汇聚比值中位数从约40.3降至5.6,首Token残差流激活范数显著下降

为什么值得看

揭示大模型异常激活的训练机制,为理解模型内部行为提供新视角

适合谁关注

大模型研究者、训练工程师、AI机制可解释性关注者

原始来源

查看收录日 2026.11.21 全部卡片 · 全部卡片归档