OpenAI前大牛认错!误判AI近十年,90%神经元只干一件事
2026.10.17 · 观点 · 研究进展 · 本人发布
Goodfire团队发布长文《神经网络早已「干净」》,称神经元内部计算有规律可循。
OpenAI前研究员Nick Cammarata与Goodfire团队发布长文《神经网络早已「干净」》,认为神经网络内部计算有规律可循。团队在320亿参数语言模型中粗略估计约90%神经元各有一个主要任务,约2%至4%仍未理解,并通过关闭神经元、盲测等方式检验解释的可靠性。
- 320亿参数模型中约90%神经元各有一个主要任务
- 约2%至4%神经元的作用仍未理解
- 关掉20个「圣诞老人」神经元,回答概率仍有76%
- 换掉8个关键神经元,概率骤降到6%
- 盲测中183个正向解释目标例子强激活比例76%
为什么值得看
读懂AI内部计算,可能让人类在交出未来前看清风险。
适合谁关注
关注AI可解释性、大模型安全的研究者与从业者。