8 GB 显存跑 262K 上下文：3.5 BPW Qwen-Flash-Next Coder 达 70 T/s
2026.10.24 · 观点 · 技巧 · 社区热议
用 llama.cpp 把大部分 MoE 放内存、n-gram 放磁盘，8 GB 显存即可跑长上下文编码模型。
有用户在 Reddit 分享用 llama.cpp 运行 ISTA DASLab 的 3.5 BPW Qwen-Flash-Next Coder 量化版：把大部分 MoE 留在内存、最小的放显存、n-gram 放磁盘，8 GB 显存 + 24 GB 内存即可运行。选择性 MoE 卸载下达到 70 T/s PP、8 T/s TG，作者称瓶颈在 PCIe 3.0。
- 方法：大部分 MoE 放内存、最小的 MoE 放显存提速、n-gram 放磁盘，模型需放在最快的 SSD 上。
- 硬件门槛：8 GB 显存 + 24 GB 内存；若总共约 32 GB 内存也能跑，但要调低上下文长度。
- 该量化由 ISTA DASLab 发布，为 3.5 BPW 的 Coder 变体，采用 GSQ RCO 量化，一半专家被移除。
- 模型页称平均到 transformer 相当于原模型每参数 1.89 bit，但保留权重仍以 3.5 bpw 存储，没有单个权重以 1.89 bit 存储。
- 作者提示：8 GB 显存下 CUDA 可能跑不动，可改用 Vulkan 后端，并降低上下文、关闭浏览器硬件加速以省显存。
为什么值得看
低显存跑长上下文大模型的实用配置参考
适合谁关注
本地部署大模型的开发者与玩家