2-bit 副本放显存、精确残差放内存：让跑不动的模型也能投机解码
2026.10.22 · 观点 · 技术思路 · 本人发布
作者提出按位拆分模型：GPU 跑 2-bit 草稿，CPU 跑 6-8 bit 残差做验证
一位开发者分享了自己的投机解码思路：把模型的 2-bit 副本放在 GPU 上做草稿，把 6-8 bit 残差权重放在系统内存里做验证，只有激活值走 PCIe。他实测 2-bit+8-bit 残差比 Q8_0 更接近 bf16、KL 约减半，6-bit 残差可达 Q8_0 级质量且少读约 28% 字节。
- GPU 存 2-bit 草稿，CPU 存 6-8 bit 残差做验证
- 2-bit+8-bit 残差比 Q8_0 更接近 bf16，KL 约减半
- 6-bit 残差达 Q8_0 级质量，少读约 28% 字节
- 复用验证器 KV 缓存的草稿，每次检查多接受 25-30% token
- CPU 内核检查 16 个 token 与 1 个耗时相近，受内存带宽限制
为什么值得看
给显存装不下 Q8 模型的人一条省显存、省内存带宽的投机解码思路
适合谁关注
本地部署大模型、显存受限的开发者与研究者