Janas：在 32GB 笔记本上从 SSD 流式加载专家，跑 48GB 的 Qwen3-Next-80B
2026.10.13 · 产品 · 开源项目 · 开源项目
纯 C 写的 Janas-LLM 把专家权重留在磁盘，按需从 NVMe SSD 流式读取，速度全面超过…
开发者 Maurizio Cammalleri 发布纯 C 工具 Janas-LLM，让权重留在磁盘、按 token 需要的专家从 NVMe SSD 流式读取，常驻专家留在内存。32GB 内存笔记本上跑 48.4GB 的 Qwen3-Next-80B，写入 24 tok/s（llama.cpp 2.8），读 1024 token 提示 62 tok/s（llama.cpp 16）。对比的 13 个模型上均快于…
- 32GB 笔记本跑 48.4GB 的 Qwen3-Next-80B，写入 24…
- 读 1024 token 提示 62 tok/s，llama.cpp 为 16…
- 对比的 13 个模型上 Janas-LLM 均快于 llama.cpp
- 权重留在磁盘，按 token 所需专家从 NVMe SSD 流式读取
- 纯 C 编写，除 C 库外无依赖，支持 CPU 或 GPU
为什么值得看
内存不够也能跑 80B 级 MoE 模型，且速度大幅领先现有方案。
适合谁关注
想在普通电脑本地跑大模型的开发者与爱好者。