睡眠框架:让大模型在持续学习中不遗忘新知识
2026.10.28 · 收录日 2026.10.31 · 观点 · 论文 · 论文预印本
谷歌提出睡眠框架,用离线记忆巩固让模型持续吸收新事实而不遗忘旧能力。
谷歌研究提出“睡眠框架”,为 LLM 引入周期性学习生命周期:活跃阶段处理输入,睡眠阶段进行记忆巩固与自我提升。通过 MoE 参数扩展、知识蒸馏和强化学习模仿,模型可持续获取新事实、保留最长 10M tokens 的长上下文知识,并提升复杂推理,同时缓解灾难性遗忘。
- 睡眠框架让 LLM 在活跃(wake)与睡眠两阶段间交替,睡眠阶段暂停新输入、专注记忆巩固与自我提升。
- 记忆巩固通过 MoE 参数扩展与低秩专家,把高频短期记忆蒸馏进长期参数,避免灾难性遗忘。
- 知识播种结合广义知识蒸馏与强化学习模仿,用自采样序列和 Levenshtein 距离奖励训练学生模型。
- 巩固完成后重置高频临时参数(突触修剪),为后续活跃会话释放容量。
- 实验显示模型可保留最长 10M tokens 的长上下文知识并改善复杂推理。
为什么值得看
持续学习长期受困于灾难性遗忘,该框架给出可落地的周期性方案。
适合谁关注
关注大模型持续学习、记忆机制与 MoE 架构的研究者和工程师。
