AI 自主研发真有那么神?作者称模型判断力仍很糟糕
2026.11.06 · 收录日 2026.11.06 · 观点 · 人物观点 · 社区热议
LessWrong 作者称实测多个项目后,对 AI 自主研发的巧妙程度存疑
LessWrong 作者 Arjun Panickssery 表示,从直觉上很难相信自主研发型 AI 如此巧妙。他观察的几个副项目里,模型判断力在基本层面就很差;他评审的八篇 Apart 黑客松论文 Pangram 得分在 60% 到 95% 之间,却彼此相似、方法不完整。例外是反馈快的爬山类任务,例如他靠反复提示 Astra 把「列出所有合法拼字游戏走法」的 SOTA 提升了 10 倍。
- 作者评审八篇 Apart 黑客松论文,Pangram 得分在 60% 到 95% 之间,但论文彼此相似、方法不完整
- 他认为模型判断力在基本层面就很差,常忽略最直接的分析
- 例外是反馈回路快的爬山任务:反复提示 Astra 后,把「列出所有合法拼字游戏走法」的 SOTA 提升 10 倍
- 两次关键跃升来自他提示模型跨整局测量、并按袋中空白牌数量分三种情况设计算法
- Astra(以及推测 Claude)写的报告极难理解,常需问答式追问才能弄清实际做了什么和关键结果
为什么值得看
了解一线使用者对 AI 自主研发能力的真实体感
适合谁关注
关注 AI 研发自动化与模型能力边界的人
