把记忆交给CPU，大模型会变快
2026.09.16 · 产品 · 技术方案 · 媒体报道
英特尔提出KV Cache分层卸载与QAT硬件压缩方案，降低显存压力，提升大模型推理速度。
英特尔针对大模型推理中KV Cache占用显存过大的问题，提出KV Shrink等方案，结合QAT硬件压缩和分层存储，将缓存卸载到CPU内存或SSD。测试显示，在80%缓存命中率下，TTFT最高加速约5倍，QAT压缩开销低于10%。
- KV Cache随上下文增长，百万Token约147GB
- 分层卸载：GPU显存、CPU内存、SSD分级存储
- QAT硬件压缩，空间节省20%-30%
- TTFT最高加速5倍，开销低于10%
- 面向Coding Agent场景，平均TTFT降12.1%
为什么值得看
解决长上下文推理的显存瓶颈，提升并发能力，降低运营成本。
适合谁关注
大模型推理服务运营商、AI基础设施工程师、关注推理优化的开发者