llama.cpp 提示查找草稿提速 42 倍，内存占用降低 2.6 倍
2026.09.27 · 产品 · 开源项目 · 社区热议
作者通过一系列性能优化，让 llama.cpp 的提示查找草稿生成速度最高提升 42 倍。
作者针对 llama.cpp 的提示查找解码（n-gram 推测）草稿环节做了一组性能优化，主要基于 Daniel Lemire 和 Martin Ankerl 的工作，使草稿生成最高快 42 倍、内存占用最多降低 2.6 倍。llama.cpp 通过上下文、动态、静态三类 n-gram 缓存按阈值挑选草稿 token。
- 提示查找解码是使用 n-gram 草稿模型的推测解码特例
- llama.cpp 维护上下文、动态、静态三类 n-gram 缓存
- 草稿按可配置阈值 a_n 与 p_n 决定是否接受
- 优化后草稿生成最高快 42 倍、内存最多省 2.6 倍
- 优化思路主要基于 Daniel Lemire 和 Martin Ankerl 的
为什么值得看
了解 llama.cpp 推理加速与内存优化的具体进展。
适合谁关注
关注本地大模型推理与 llama.cpp 的开发者。