AI 自主研发真有那么神?作者称模型判断力仍很糟糕

2026.11.06 · 收录日 2026.11.06 · 观点 · 人物观点 · 社区热议

LessWrong 作者称实测多个项目后,对 AI 自主研发的巧妙程度存疑

LessWrong 作者 Arjun Panickssery 表示,从直觉上很难相信自主研发型 AI 如此巧妙。他观察的几个副项目里,模型判断力在基本层面就很差;他评审的八篇 Apart 黑客松论文 Pangram 得分在 60% 到 95% 之间,却彼此相似、方法不完整。例外是反馈快的爬山类任务,例如他靠反复提示 Astra 把「列出所有合法拼字游戏走法」的 SOTA 提升了 10 倍。

  • 作者评审八篇 Apart 黑客松论文,Pangram 得分在 60% 到 95% 之间,但论文彼此相似、方法不完整
  • 他认为模型判断力在基本层面就很差,常忽略最直接的分析
  • 例外是反馈回路快的爬山任务:反复提示 Astra 后,把「列出所有合法拼字游戏走法」的 SOTA 提升 10 倍
  • 两次关键跃升来自他提示模型跨整局测量、并按袋中空白牌数量分三种情况设计算法
  • Astra(以及推测 Claude)写的报告极难理解,常需问答式追问才能弄清实际做了什么和关键结果

为什么值得看

了解一线使用者对 AI 自主研发能力的真实体感

适合谁关注

关注 AI 研发自动化与模型能力边界的人

原始来源

查看收录日 2026.11.06 全部卡片 · 全部卡片归档