用LoRA替代150GB去审查模型:llama.cpp运行时按需加载
2026.11.16 · 收录日 2026.11.16 · 观点 · 技巧 · 社区热议
用户发布自制LoRA,可在llama.cpp运行时为任意量化模型开启去审查,省下150GB空间
Reddit用户指出,绝大多数去审查技术本质是rank-1消融,可压缩成小体积LoRA在运行时叠加到已有量化模型上。他基于huihui v2 Flash Next构建了F32 LoRA,可节省150GB空间,并支持按请求启用。测试显示Jailbreak Bench拒绝率从93/100降至3/100,KLD与困惑度与基座基本一致。
- 去审查技术多为rank-1消融,拒绝方向可封装进小LoRA,运行时叠加到已有量化模型,省下150GB空间
- 在llama.cpp中加 --lora 参数即可对任意FN量化模型启用,也可用 --lora-init-without-apply 按请求开启
- 作者对比heretic、Orcarouter与huihui v1/v2后选择huihui v2,Aider Polyglot得分超过基座模型
- Wikitext KLD为0.040,同top token 93.7%,困惑度与基座统计一致;Jailbreak Bench拒绝率从93/100降至3/100
- 同类控制向量方法也适用于Strata(--experimental-speed-projection)和ds4/dwarfstar
为什么值得看
省下150GB磁盘,还能按需切换去审查行为
适合谁关注
本地部署大模型的llama.cpp用户与研究者
