NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式
2026.11.21 · 收录日 2026.11.21 · 模型 · 论文 · 论文预印本
西工大团队提出ROSE框架,缓解多模态大模型连续知识编辑中的遗忘与退化。
西北工业大学宋凌云、尚学群团队提出多模态终身知识编辑框架ROSE,通过约束参数更新方向降低新旧知识干扰,并在推理阶段按需激活编辑知识。该论文入选NeurIPS 2026 Spotlight。在VLKEB上完成1000次编辑后,ROSE可靠性仍达95.24%,文本局部性达100%。
- ROSE在编辑阶段冻结原模型主干,在Transformer层FFN下投影矩阵引入辅助分支写入新知识。
- 风险感知正交编辑机制将梯度投影到历史知识子空间的正交补空间,减少新旧编辑方向冲突。
- 动态风险掩码以原始权重为锚点,筛选变化较大的参数空间参与更新,保护预训练通用能力。
- 多粒度知识整合策略通过语义门控与动态融合掩码,按需调用编辑知识,减少对无关知识的干扰。
- VLKEB上1000次编辑后ROSE可靠性95.24%,文本泛化92.74%,文本局部性100%。
为什么值得看
多模态大模型持续更新知识时如何不遗忘、不退化,是落地关键难题。
适合谁关注
关注多模态大模型、知识编辑与持续学习的研究者和工程师。
