写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%
2026.11.19 · 收录日 2026.11.19 · 模型 · 论文 · 论文预印本
英伟达提出SEED,用浅层预填充写深层记忆、低秩分解存循环状态,提升混合模型服务吞吐。
英伟达提出SEED方法,让除最后一个外的输入token只跑前31层,由轻量emitters为后续17层生成KV Cache和循环状态;解码侧把循环状态拆成共享固定方向与低秩因子。在GB300 GPU上,Qwen3.8-Flash-Next每GPU峰值吞吐提升16%~42%,原模型权重全程冻结。
- 预填充阶段:除最后一个输入token外只运行前31层,由emitters写出后续17层的KV Cache和循环状态,参数相关计算量从12.1GFLOP降到9.1GFLOP,减少约25%。
- 解码阶段:将循环状态分解为共享固定方向与低秩因子,单请求状态从113.2MB降到刚压缩后的29.2MB,整个压缩周期平均43.4MB。
- 性能:在GB300 GPU、SGLang和编码Agent会话轨迹上,每GPU峰值吞吐提升16%~42%;相同P90用户端到端输出速率下吞吐提升23%~42%。
- 质量:覆盖五种模型、六个检查点、11项基准,66个组合中63个分数落在原模型两个标准误范围内或更高。
- 机制:Gated DeltaNet、Kimi Delta Attention和Mamba-2的更新都能保持低秩分解形式,两次压缩之间因子更新数学上精确,仅低秩截断引入近似。
为什么值得看
揭示混合模型记忆写入与存储可分离优化,直接换来服务吞吐提升。
适合谁关注
关注大模型推理优化、混合架构与GPU服务部署的读者。