新评测 InnovationEval：前沿模型难复现人类 ML 算法创新
2026.10.11 · 事件 · 论文 · 论文预印本
新基准测试 AI 能否独立发现人类级机器学习新方法，前沿模型进展甚微。
AI 开发者希望造出自动化的 AI 研究员，但现有证据只表明 AI 能完成与 AI 研究相关的软件工程、数据集创建等任务。新评测 InnovationEval 让 AI 独立发现与人类研究者相当的新 ML 技术，近期前沿模型在该任务上几乎没有进展，尽管消耗了价值数千美元的 GPU 时间。
- InnovationEval 测试 AI 能否独立复现未见过的 ML 创新
- 前沿模型在该任务上几乎没有进展
- 实验消耗了价值数千美元的 GPU 时间
- 任务要求端到端完成想法、实现、实验与分析
- 选用一篇 on-policy 自蒸馏论文作为人类基线
为什么值得看
看清 AI 自动化 AI 研发的真实能力边界
适合谁关注
关注 AI 研发自动化与模型评测的人