告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识

2026.10.30 · 收录日 2026.10.30 · 事件 · 论文 · 论文预印本

谷歌研究团队发布持续学习新框架,用「清醒+睡眠」两阶段机制让模型吸收新知识且不遗忘旧能力。

谷歌研究团队 10 月 27 日发布「睡眠框架」(Sleep Framework)持续学习研究,试图解决大模型发布后知识固化、难以吸收新信息的难题。该框架将模型运行分为清醒阶段和睡眠阶段,通过记忆巩固与「做梦」环节把短期信息写入长期参数。实验显示其在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法。

  • 谷歌 10 月 27 日公开「睡眠框架」研究,论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate…
  • 清醒阶段模型接收输入并暂存于短期记忆,睡眠阶段暂停新输入,进行记忆整合与自我改进
  • 记忆巩固通过参数扩展、混合专家记忆块和知识蒸馏,把短期上下文写入长期参数并避免覆盖既有知识
  • 「做梦」环节让模型生成并筛选合成训练样本,借助强化学习反复练习以提升推理与泛化能力
  • 实验显示模型可处理最长约 1000 万 token 上下文,在未见语言的多阶段持续学习中保持接近零的性能下降

为什么值得看

大模型「知识截止日」和灾难性遗忘是行业共性难题,该方案提供了新思路。

适合谁关注

关注大模型持续学习、微调与记忆机制的研究者和开发者。

原始来源

查看收录日 2026.10.30 全部卡片 · 全部卡片归档