从零推导 Transformer：每层都是记忆存储器
2026.10.17 · 观点 · 论文 · 社区热议
一篇长文用记忆存储视角重新推导 Transformer 的注意力与前馈层。
文章从外积记忆存储出发，指出线性存储容量约 M≈d_k=64，加入 ReLU 等非线性门控后容量可提升到 M≈d_k^p。作者由此推导出两层 MLP 即非线性记忆存储，并提到原版 Transformer 论文 v2、v3 曾把前馈层描述为“一种注意力”。
- 线性外积存储在 M≈d_k=64 时达到容量上限
- ReLU 门控把容量提升到约 M≈2d_k=128
- 平方 ReLU 容量约 M≈2d_k²/3≈2700，约为线性存储的 40 倍
- 两层 MLP 可视为非线性记忆存储，键为第一层权重
- 原版 Transformer 论文 v2、v3 曾称前馈层是“一种注意力”
为什么值得看
用记忆存储的直觉重新理解 Transformer 各层设计。
适合谁关注
对 Transformer 原理和深度学习基础感兴趣的读者。