单卡放不下:两台NVIDIA DGX Station用vLLM跑GLM-5.3,并发16达607.8 tok/s

2026.11.14 01:00 +08:00 · 收录日 2026.11.14 · 产品 · 技术教程 · 官方发布

GLM-5.3 NVFP4约464GB权重超单卡252GB显存,需两台DGX Station经RDMA张量并行部署

NVIDIA技术博客介绍如何用两台GB300 DGX Station通过ConnectX-8 RDMA和vLLM张量并行(TP=2)本地部署GLM-5.3 NVFP4。该MoE模型有7530亿参数、每token激活400亿,检查点约464GB,超过单张GB300的252GB HBM3e。AIPerf在SPEED-Bench Coding数据集上测得并发16时输出吞吐峰值607.8 tokens/s,并发32降至385.0 tokens/s。

  • GLM-5.3 NVFP4是Z.ai MoE模型的量化版,7530亿参数、每token激活400亿,权重约464GB
  • 单张GB300 GPU仅252GB HBM3e,装不下该检查点,因此需两台DGX Station并禁用CPU权重卸载
  • 两台Station经ConnectX-8 RDMA互联,用张量并行TP=2让每张GPU各持约一半权重并共同计算
  • vLLM跨两台Station启动分布式服务,支持多token预测、FP8 KV-cache存储和前缀缓存
  • AIPerf在SPEED-Bench Coding上测得并发16时输出吞吐峰值607.8 tokens/s,并发32降至385.0 tokens/s,平均请求延迟453.5秒

为什么值得看

了解前沿规模MoE模型如何跨机本地部署与吞吐表现

适合谁关注

做大模型本地部署、推理优化和算力规划的工程师

原始来源

查看收录日 2026.11.14 全部卡片 · 全部卡片归档