llama.cpp RFC：MoE专家缓存，CPU驻留热专家VRAM缓存与混合命中/未命中执行
2026.08.30 · 观点 · RFC · 社区热议
llama.cpp 提出 MoE 专家缓存 RFC，通过 VRAM 缓存热专家提升 CPU-only 推理性能。
llama.cpp 社区提出 RFC #24528，设计 MoE 专家缓存：将 CPU 驻留的热专家权重缓存到 VRAM，并在 CPU 内核中混合执行命中/未命中行。实测在 GLM-5.1 754B 上获得 +25% 性能提升，Qwen3.5 397B 上 +7%，且 16/16 模型达到或超过基线。
- MoE 专家缓存设计，CPU 内核混合执行
- GLM-5.1 754B 性能提升 +25%
- Qwen3.5 397B 提升 +7%
- 16/16 模型达到或超过基线
- CUDA 实现，约 1700 行代码
为什么值得看
为 CPU-only 推理提供显著性能提升方案，值得关注。
适合谁关注
llama.cpp 用户、MoE 模型推理开发者、性能优化爱好者