我用 MIT 的「权重空间编程」改 Gemma 4 12B:Claude 重写 8 个神经元,改变一个意大利语时态的翻译

2026.11.04 · 收录日 2026.11.04 · 观点 · 技巧 · 社区热议

Claude 手改 Gemma 4 12B 的 8 个 MLP 神经元,只在该语境下切换意大利语时态。

作者按 MIT CSAIL 展示的思路,让 Claude Opus 5.5 在 Gemma 4 12B 权重上做无梯度手改,把 8 个 MLP 神经元改成只在该语境触发的开关,约 92k/11.9B 参数、约 100 KB 差异。未见句子上旧形式占比从 26%/32% 降到 5%/16%,200 条无关翻译中 182 条不变。

  • MIT CSAIL 展示 GPT-6 Astra 手改 Qwen3.5-0.8B 权重,模型不再在数学题上循环、分数上升,全程无训练。
  • 作者用 Claude Opus 5.5 复刻该设置:Python 内核操作 Gemma 权重,50 次前向传播验证想法,无梯度、无训练。
  • 线性探针显示 Gemma 中间层几乎能完美区分「仍在进行」与「已经结束」,但选动词时没用上这个信息。
  • Claude 把 8 个 MLP 神经元改写成小开关,仅在该语境触发并把动词推向作者偏好的形式,约 92k/11.9B 参数。
  • 对比结果:提示词 4%/2% 但 49 条对照被误读;均值差消融 49%/75%;LoRA 12%/23% 且 120 条无关翻译被改动;手改 5%/16%、2 条对照出错、182 条无关翻译不变。

为什么值得看

展示不训练、只改极少数权重就能定向改变模型行为。

适合谁关注

关注模型可解释性、权重编辑与本地模型定制的开发者。

原始来源

查看收录日 2026.11.04 全部卡片 · 全部卡片归档