Astra 直接读写神经网络权重:无需梯度把 Qwen3.5-0.8B 数学成绩从 7.9% 提到 48.1%

2026.11.03 · 收录日 2026.11.03 · 观点 · 论文 · 论文预印本

MIT CSAIL 发现前沿 LLM 能原生读写权重,直接改 0.016% 参数修复推理循环

MIT CSAIL 团队发现前沿 LLM 能原生读写神经网络权重,称之为 Weight-Space Programming。GPT-6 Astra 仅看原始权重就能判断网络训练目标,还能从零写出击败 PPO 训练 1 亿步的小型游戏网络。它无需梯度,只编辑 Qwen3.5-0.8B 的 0.016% 权重,就把 MATH-500 从 7.9% 提升到 48.1%,IFEval 提升 3 倍。

  • GPT-6 Astra 仅凭原始权重即可判断四个同结构 PPO 网络各自训练的游戏,无需告知选项
  • Astra 在无环境反馈下从零写出小型游戏网络,表现超过 PPO 训练 1 亿步的网络
  • Astra 定位 Qwen3.5-0.8B 权重中导致推理循环的问题,原生编辑 0.016% 权重修复
  • 修复后 MATH-500 从 7.9% 升至 48.1%,并零样本泛化到指令跟随,IFEval 提升 3 倍
  • 全程不允许 Astra 编写训练循环,仅靠推理判断网络各部分应计算什么

为什么值得看

若成立,权重优化将从梯度算法转向 LLM 推理驱动

适合谁关注

关注 LLM 可解释性、优化与权重编辑的研究者

原始来源

查看收录日 2026.11.03 全部卡片 · 全部卡片归档