千万token下,比DeepSeek式稀疏注意力再快22倍

2026.11.17 · 收录日 2026.11.17 · 模型 · 论文 · 论文预印本

Prefrontal AI与ETH Zurich提出LSA,把稀疏注意力的索引器从二次方降到O(T log T)。

伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合发布论文,提出 Latent Sparse Attention(LSA)。它按语义聚类 key 并用层次树做束搜索,把索引器开销从二次方降到 O(T log T),在 10M token 下让 GLM-5.3-Flash 单层 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,精度与原模型相近。

  • 10M token 下,GLM-5.3-Flash 单个全局注意力层 prefill 有 98% 时间花在索引器上,而非注意力计算。
  • LSA 按内容把 key 投影到低维隐空间后层次聚类成桶,query 只与桶中心打分,Tree 变体用束搜索把索引器降到 O(T log T)。
  • D-LSA 冻结原模型参数、每层只加两个 64 维投影矩阵,蒸馏仅用 3.52 亿 token;N-LSA 从头训练,参数量不增。
  • 10M token 下单层 prefill 提速:GLM-5.3-Flash 22.7 倍、Qwen3.8-27B 72.4 倍;decode 分别快 4.6 倍和 42.5 倍。
  • SGLang 部署中 10M token 下 GLM-5.3-Flash 首 token 时间缩短 2.2 倍,Qwen3.8-27B 缩短 9.2 倍。

为什么值得看

稀疏注意力的瓶颈已从“少看”变成“找得慢”,这篇给出了次二次方解法。

适合谁关注

关注长上下文、注意力机制与推理部署的算法和工程人员。

原始来源

查看收录日 2026.11.17 全部卡片 · 全部卡片归档