SSOG-Attention：用可分离高斯和代替缩放点积注意力的可扩展替代方案
2026.08.16 · 观点 · 论文 · 社区热议
研究者提出SSOG-Attention，用少量可学习的高斯原子替代传统SDPA，实现近线性复杂度的空间注意力机制。
该研究用几组高斯原子替代了Transformer中的缩放点积注意力（SDPA），无需计算内容相似度矩阵。通过固定几何先验配合微小的内容引导（lookat），该方法在ImageNet上超越了SDPA基线，计算成本降低30%，且避免了 $N \times N$ 的计算复杂度。
- 用少量高斯原子替代传统Token相似度计算。
- 固定几何先验在ImageNet上表现接近SDPA基线。
- 通过内容引导（lookat）机制动态微调高斯参数。
- 采用可分离1D滤波器实现近线性扩展，避免 $N \times N$ 矩阵。
为什么值得看
它绕过了高昂的二次复杂度点积注意力，提供了一种基于几何先验的高效、可解释且可扩展的新型注意力机制。
适合谁关注
适合AI研究员、Transformer架构设计者及深度学习算法工程师阅读。