删除不到0.05%权重即可媲美全量微调:Deletion Tuning 新方法

2026.11.11 · 收录日 2026.11.11 · 模型 · 论文 · 论文预印本

新方法只训练二值掩码,删权重即可匹配全量微调效果

研究提出 Deletion Tuning,通过将 transformer 块门投影中不到 0.05% 的权重置零,在强化学习、监督微调和同策略蒸馏三种后训练场景下匹配全量微调。其训练出的掩码比全量微调检查点小数百到数千倍,且遗忘更少,强化学习下先前任务准确率接近基线,而 FFT、LoRA 和随机稀疏微调最多下降 5.4 分。

  • 将少于 0.05% 的权重置零,无需其他修改即可在三种后训练场景匹配全量微调
  • 方法学习 transformer 块门投影上的二值掩码,训练产物比 FFT 检查点小数百到数千倍
  • 强化学习下先前任务准确率接近基线,FFT、LoRA 和随机稀疏微调最多损失 5.4 分
  • 通过稳定秩、谱漂移和主权重重叠分析,Deletion Tuning 在三项指标上最接近 FFT

为什么值得看

用极少改动实现全量微调效果,缓解持续学习遗忘

适合谁关注

关注 LLM 后训练与持续学习的研究者和工程师

原始来源

查看收录日 2026.11.11 全部卡片 · 全部卡片归档