vLLM nightly 新增 PLE 磁盘卸载支持,Qwen4Exp 显存省 27.0 GiB
2026.10.31 · 收录日 2026.10.31 · 产品 · 开源项目 · 开源项目
vLLM 合并 PR,为 Qwen4Exp 的 PLE n-gram 表提供磁盘卸载选项。
vLLM 贡献者 stecasta 提交的 PR 为 Qwen4Exp 增加 --engram-config '{"disk_offload": true}',PLE n-gram 表保留在检查点文件中,每步只在主机读取所需行。在 DGX Spark(GB10)上,Qwen3.8-Flash-Next NVFP4 加载内存减少 27.0 GiB,解码性能与常驻表相差 3.5% 以内,GSM8K 结果不变。
- 新增 --engram-config '{"disk_offload": true}',PLE n-gram 表留在检查点文件,每步按需读取行。
- DGX Spark(GB10)上 Qwen3.8-Flash-Next NVFP4 加载内存减少 27.0 GiB,主机可用内存增加 27.4 GiB。
- 解码吞吐在 c=1/4/8 下与常驻表相差 3.5% 以内,TTFT 约高 11%,GSM8K 为 246/256 对 247/256。
- 支持 BF16、FP8、NVFP4 格式,行按检查点格式读取并在 GPU 上用现有 PLE 内核解码,CUDA graphs 可原样重放。
- 建议检查点放在本地 NVMe;网络存储上冷预填充慢 2 到 4.5 倍,统一内存 Spark 上 cpu_offload 无帮助。
为什么值得看
本地大模型推理显存吃紧时,多了一个用磁盘换显存的实测选项。
适合谁关注
本地部署大模型的开发者与 vLLM 用户。
