Project Maya 让 GLM5.3 Flash 在单张消费级 GPU 上跑起来
2026.10.12 · 产品 · 开源项目 · 开源项目
开源项目 Maya 用分层卸载方案，让 321B 参数的 GLM-5.3-Flash 在自有 GPU 上运行
有用户发现 GLM5.3 Flash 此前只有约 10 tok/s，基本不可用；使用 Project Maya 后提升到 30 tok/s。Maya 是一个面向 GLM-5.3-Flash 的推理引擎，把常用专家留在 GPU、其余放在内存和 NVMe SSD，官方称四张 RTX 4090 上可达 118 tokens/s，单张 RTX 5090 上 30+。
- 用户实测：GLM5.3 Flash 从约 10 tok/s 提升到 30…
- Maya 专为 GLM-5.3-Flash 打造，321B 参数、每…
- 专家分层放在 GPU、RAM 和 NVMe SSD，按对话动态搬运
- 官方称四张 RTX 4090 可达 118 tokens/s，单张 RTX…
- 自带量化保留 FP8 模型 97.7-99.2% 的零样本准确率
为什么值得看
让大参数模型在个人硬件上变得可用，值得关注
适合谁关注
想在自有 GPU 上跑大模型的开发者和爱好者