纯 C 推理引擎 Picchio：32GB 笔记本纯 CPU 跑 230B 的 MiniMax-M2
2026.10.06 · 产品 · 开源项目 · 本人发布
开源引擎把专家权重放 SSD，靠缓存流式读取，无 GPU 也能跑 230B MoE。
开发者发布纯 C 编写的 MoE 推理引擎 Picchio，思路源自 Colibri：常驻内存只放稠密部分，专家权重按需从 SSD 读取并缓存热点。新增支持 MiniMax-M2，INT4 量化后约 122 GB，在 12 核、32GB 内存、普通 NVMe 的笔记本上纯 CPU 约 0.48 tok/s。
- 纯 C 推理引擎 Picchio，面向大于内存的 MoE 模型
- 稠密部分常驻内存，专家按需从 SSD 读取并缓存
- MiniMax-M2 转 INT4 后约 122 GB，几乎全部流式读取
- 12 核 32GB 笔记本纯 CPU 约 0.48 tok/s，20GB 专家缓
- 缓存大小是唯一真正影响性能的因素
为什么值得看
看无 GPU 大模型推理的极限玩法与工程取舍
适合谁关注
本地推理爱好者、MoE 与量化研究者