奥特曼给「AI造AI」踩刹车!方向盘必须握在人类手中

2026.11.20 · 收录日 2026.11.20 · 观点 · 行业动态 · 媒体报道

奥特曼称OpenAI可推进递归自我改进,但现在无法安全这么做,并请METR等外部机构驻场评估。

在Semafor活动上,奥特曼就「递归自我改进」划下红线:OpenAI本可进一步推进,但目前无法安全地这么做。他同时披露OpenAI已与Apollo Research、METR、Transluce和Goodfire签约,把外部评估机构请进实验室,首阶段切入模型训练与内部使用两个核心环节。

  • 奥特曼表示OpenAI尚未让AI在无人监督下自主研发下一代模型、快速自我改进,方向盘仍攥在人类手里。
  • OpenAI已与Apollo Research、METR、Transluce和Goodfire四家机构签约,首阶段评估模型训练与内部使用环节。
  • Apollo Research派出6人团队驻场试点4个月,专门排查模型是否会暗中破坏自身或下一代模型的对齐与控制机制。
  • METR聚焦OpenAI迄今最大规模的一次强化学习训练,搜寻现有测试和常规监控可能漏掉的失对齐暗礁。
  • Transluce从12月初开始为期6周的试点,可接触部分模型、原始思维链输出及内部评测,但内部专用模型的评估结果一律不准公开。

为什么值得看

看清AI自我改进的安全边界与外部评估新机制

适合谁关注

关注AI安全、治理与前沿模型研发的人

原始来源

查看收录日 2026.11.20 全部卡片 · 全部卡片归档