用LoRA替代150GB去审查模型:llama.cpp运行时按需加载

2026.11.16 · 收录日 2026.11.16 · 观点 · 技巧 · 社区热议

用户发布自制LoRA,可在llama.cpp运行时为任意量化模型开启去审查,省下150GB空间

Reddit用户指出,绝大多数去审查技术本质是rank-1消融,可压缩成小体积LoRA在运行时叠加到已有量化模型上。他基于huihui v2 Flash Next构建了F32 LoRA,可节省150GB空间,并支持按请求启用。测试显示Jailbreak Bench拒绝率从93/100降至3/100,KLD与困惑度与基座基本一致。

  • 去审查技术多为rank-1消融,拒绝方向可封装进小LoRA,运行时叠加到已有量化模型,省下150GB空间
  • 在llama.cpp中加 --lora 参数即可对任意FN量化模型启用,也可用 --lora-init-without-apply 按请求开启
  • 作者对比heretic、Orcarouter与huihui v1/v2后选择huihui v2,Aider Polyglot得分超过基座模型
  • Wikitext KLD为0.040,同top token 93.7%,困惑度与基座统计一致;Jailbreak Bench拒绝率从93/100降至3/100
  • 同类控制向量方法也适用于Strata(--experimental-speed-projection)和ds4/dwarfstar

为什么值得看

省下150GB磁盘,还能按需切换去审查行为

适合谁关注

本地部署大模型的llama.cpp用户与研究者

原始来源

查看收录日 2026.11.16 全部卡片 · 全部卡片归档