NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式

2026.11.21 · 收录日 2026.11.21 · 模型 · 论文 · 论文预印本

西工大团队提出ROSE框架,缓解多模态大模型连续知识编辑中的遗忘与退化。

西北工业大学宋凌云、尚学群团队提出多模态终身知识编辑框架ROSE,通过约束参数更新方向降低新旧知识干扰,并在推理阶段按需激活编辑知识。该论文入选NeurIPS 2026 Spotlight。在VLKEB上完成1000次编辑后,ROSE可靠性仍达95.24%,文本局部性达100%。

  • ROSE在编辑阶段冻结原模型主干,在Transformer层FFN下投影矩阵引入辅助分支写入新知识。
  • 风险感知正交编辑机制将梯度投影到历史知识子空间的正交补空间,减少新旧编辑方向冲突。
  • 动态风险掩码以原始权重为锚点,筛选变化较大的参数空间参与更新,保护预训练通用能力。
  • 多粒度知识整合策略通过语义门控与动态融合掩码,按需调用编辑知识,减少对无关知识的干扰。
  • VLKEB上1000次编辑后ROSE可靠性95.24%,文本泛化92.74%,文本局部性100%。

为什么值得看

多模态大模型持续更新知识时如何不遗忘、不退化,是落地关键难题。

适合谁关注

关注多模态大模型、知识编辑与持续学习的研究者和工程师。

原始来源

查看收录日 2026.11.21 全部卡片 · 全部卡片归档