NVIDIA 发布 Qwen3.8-Flash-Next FP4 QAD 量化版，约 96 GiB 可本地部署
2026.10.16 · 产品 · 新模型 · 官方发布
NVIDIA 用 QAD 量化阿里 Qwen3.8-Flash-Next，需专用容器运行
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，这是阿里 Qwen3.8-Flash-Next 的量化版本，采用量化感知蒸馏（QAD）与 Model Optimizer 完成。检查点约占 96 GiB 磁盘空间，已在 RTX PRO 6000 Blackwell 单卡和 DGX Spark 上通过 vLLM 验证。
- 采用 QAD 量化，检查点约占 96 GiB
- NVFP4 缩放因子为新无损压缩格式，vLLM 上游尚未支持
- RTX PRO 6000 Blackwell 单卡需 PLE 卸载，850K…
- DGX Spark 可开可不开 PLE 卸载，开启后 1M tokens…
- 总参数 125B、激活 6B，另有 51B n-gram 嵌入与 4B MTP
为什么值得看
想本地跑大模型的人可关注这份预量化权重与硬件门槛
适合谁关注
本地部署开发者、vLLM 用户、关注量化技术的研究者