英伟达发布 Nemotron 3.5 Bolt 74B-A9B：2-bit 量化塞进 24GB 的视觉语言模型
2026.10.15 · 产品 · 新模型 · 开源项目
英伟达开源 74B 总参、9B 激活的本地智能体 VLM，原生 2-bit 量化可跑在 24GB 显存上。
英伟达发布 Nemotron 3.5 Bolt 74B-A9B 24GB 视觉语言模型，采用原生 2-bit 量化，可塞进 24GB 内存并与其他应用并行运行。模型总参数 74B、激活 9B，基于 Mamba-2 与 Transformer 混合架构的 LatentMoE，配 C-RADIO v4-H 视觉编码器，支持最高 256K 上下文，可商用。
- 总参数 74B，激活 9B，原生 IQ2 2-bit 量化
- 24GB 打包模型，可本地跑日常智能体任务
- Mamba-2 与 Transformer 混合 LatentMoE 架构
- 支持文本、图像、视频输入，上下文最高 256K
- 配 LiLiCorr 草稿模型做投机解码，7 个投机 token
为什么值得看
24GB 显存即可本地跑 74B 级视觉语言智能体，兼顾速度与智能。
适合谁关注
本地部署大模型的开发者、智能体应用团队与显存受限用户。