16GB RTX 3080 笔记本 + 32GB 内存跑 Qwen3.8 Flash Next 176B
2026.10.04 · 观点 · 技巧 · 本人发布
TensorSharp 用分层调度让 176B MoE 模型在普通笔记本上跑起来
作者在 16GB 显存的 RTX 3080 笔记本、32GB 系统内存和 SSD 上运行了 Qwen3.8 Flash Next 176B，未使用 128GB/256GB 内存工作站或多 GPU。他使用自研开源推理引擎 TensorSharp，通过量化与 MoE 感知的统一调度协调缓存、显存、内存和 SSD。对比 Strata，解码速度 11.09 vs 10.24 tok/s，但全流程耗时 16.54s vs…
- 在 16GB 显存笔记本上运行 176B MoE 模型
- TensorSharp 协调缓存、显存、内存与 SSD 分层
- 解码速度 11.09 tok/s，Strata 为 10.24 tok/s
- 全流程耗时 16.54s，Strata 为 62.15s
- GPU 峰值 14,832.5 MiB，系统内存峰值 19.74 GiB
为什么值得看
展示消费级硬件跑超大 MoE 模型的内存调度思路
适合谁关注
关注本地大模型推理与显存优化的开发者