研究了一辈子「遗憾」的人,说自己零遗憾:一个 AI 核心方法的二十年

2026.10.18 · 观点 · 人物观点 · 本人发布

普林斯顿教授 Elad Hazan 回顾在线凸优化二十年,串起 AdaGrad 与现代 AI 的技术脉络。

普林斯顿大学教授 Elad Hazan 撰文回顾在线凸优化(OCO)二十年发展,从 universal portfolio、Online Newton Step 到 AdaGrad,串起 OCO 与现代 AI 的技术脉络。他同时谈到 AI 越来越擅长定理证明后,选择有意思的问题、创造新框架将更重要。

  • Hazan 读博第三年开始研究在线凸优化
  • ONS 论文把 Newton 方法、遗憾最小化与 OCO 放进同一框架
  • 与 Yoram Singer、John Duchi 合作催生自适应梯度方法…
  • Hazan 认为 AI 擅长定理证明,但发明新框架相对不强
  • 陶哲轩等菲尔兹奖得主联名发文引发数学界讨论

为什么值得看

从亲历者视角看懂 OCO 如何长成现代 AI 的核心方法。

适合谁关注

机器学习研究者、优化方向学生与 AI 从业者。

原始来源