奥特曼给「AI造AI」踩刹车!方向盘必须握在人类手中
2026.11.20 · 收录日 2026.11.20 · 观点 · 行业动态 · 媒体报道
奥特曼称OpenAI可推进递归自我改进,但现在无法安全这么做,并请METR等外部机构驻场评估。
在Semafor活动上,奥特曼就「递归自我改进」划下红线:OpenAI本可进一步推进,但目前无法安全地这么做。他同时披露OpenAI已与Apollo Research、METR、Transluce和Goodfire签约,把外部评估机构请进实验室,首阶段切入模型训练与内部使用两个核心环节。
- 奥特曼表示OpenAI尚未让AI在无人监督下自主研发下一代模型、快速自我改进,方向盘仍攥在人类手里。
- OpenAI已与Apollo Research、METR、Transluce和Goodfire四家机构签约,首阶段评估模型训练与内部使用环节。
- Apollo Research派出6人团队驻场试点4个月,专门排查模型是否会暗中破坏自身或下一代模型的对齐与控制机制。
- METR聚焦OpenAI迄今最大规模的一次强化学习训练,搜寻现有测试和常规监控可能漏掉的失对齐暗礁。
- Transluce从12月初开始为期6周的试点,可接触部分模型、原始思维链输出及内部评测,但内部专用模型的评估结果一律不准公开。
为什么值得看
看清AI自我改进的安全边界与外部评估新机制
适合谁关注
关注AI安全、治理与前沿模型研发的人
