单卡放不下:两台NVIDIA DGX Station用vLLM跑GLM-5.3,并发16达607.8 tok/s
2026.11.14 01:00 +08:00 · 收录日 2026.11.14 · 产品 · 技术教程 · 官方发布
GLM-5.3 NVFP4约464GB权重超单卡252GB显存,需两台DGX Station经RDMA张量并行部署
NVIDIA技术博客介绍如何用两台GB300 DGX Station通过ConnectX-8 RDMA和vLLM张量并行(TP=2)本地部署GLM-5.3 NVFP4。该MoE模型有7530亿参数、每token激活400亿,检查点约464GB,超过单张GB300的252GB HBM3e。AIPerf在SPEED-Bench Coding数据集上测得并发16时输出吞吐峰值607.8 tokens/s,并发32降至385.0 tokens/s。
- GLM-5.3 NVFP4是Z.ai MoE模型的量化版,7530亿参数、每token激活400亿,权重约464GB
- 单张GB300 GPU仅252GB HBM3e,装不下该检查点,因此需两台DGX Station并禁用CPU权重卸载
- 两台Station经ConnectX-8 RDMA互联,用张量并行TP=2让每张GPU各持约一半权重并共同计算
- vLLM跨两台Station启动分布式服务,支持多token预测、FP8 KV-cache存储和前缀缓存
- AIPerf在SPEED-Bench Coding上测得并发16时输出吞吐峰值607.8 tokens/s,并发32降至385.0 tokens/s,平均请求延迟453.5秒
为什么值得看
了解前沿规模MoE模型如何跨机本地部署与吞吐表现
适合谁关注
做大模型本地部署、推理优化和算力规划的工程师