Qwen-3.8-Next-Flash Ngram 热插拔知识注入器：为 llama.cpp 实现实时知识库
2026.09.03 · 产品 · 开源项目 · 本人发布
开发者修改 llama.cpp，实现 Ngram PLE 表热插拔，实时注入知识。
开发者 ortegaalfredo 探索 Qwen 新架构，修改 llama.cpp 使 Ngram PLE 表可在内存中实时修改，实现知识热插拔。该方法受限于嵌入注入层较早，输出控制困难，但可通过简单修改影响模型输出。已发布两个仓库：llama.cpp-NLTM 和 ngram-knowledge-injector，目前仅测试 q8 量化，需较大内存。
- 修改 llama.cpp 实现 PLE 表内存热插拔
- 实时注入新数据，无需重载模型
- 嵌入注入层早，输出控制困难
- 已发布两个 GitHub 仓库
- 仅测试 q8 量化，需较大内存
为什么值得看
探索低成本训练新途径，实现模型长期记忆热插拔。
适合谁关注
对模型定制、知识注入和 llama.cpp 感兴趣的开发者。