两张96 GB昇腾卡跑Qwen3.8 Flash-Next：vLLM适配与实测
2026.10.02 · 观点 · 技巧 · 本人发布
作者用两张Atlas 300I Duo把Qwen3.8 Flash-Next从1 tok/s调到约30 tok/s
作者围绕两张华为Atlas 300I Duo（每张96 GB、实为两颗48 GB芯片）搭建本地推理机，最初跑Qwen3.8 Flash-Next几乎不连贯、约1 token/s，经vLLM与vLLM Ascend的软件栈改造后，单请求约30 tok/s、四路并发合计约61 tok/s，并跑完198题GPQA Diamond。
- 每张卡实为两颗芯片，各48 GB本地内存，非统一96 GB
- 四颗芯片运行时可见约172 GiB，需张量/专家并行
- 被动散热可行，但需机箱与房间承担散热，单卡150 W
- 关闭ECC换容量，软件每48 GB芯片约见43 GiB
- 优化集中在驱动、模型架构、内存布局与自定义算子
为什么值得看
想用非CUDA廉价卡做本地大模型推理的人可参考
适合谁关注
本地推理玩家、昇腾与vLLM开发者