NeurIPS 2026|VLM架构新突破:DGP打通全部ViT与LLM层,让大模型每一层按需「看图」

2026.11.10 · 收录日 2026.11.10 · 模型 · 论文 · 论文预印本

西工大与港科大提出DGP,让每个LLM层动态选择全部ViT层的视觉信息。

西北工业大学与香港科技大学提出DGP(动态门控路径),把「哪一层视觉信息连到哪一层语言模型」变成可学习的动态路由问题。在LLaVA-1.5-7B上,DGP在论文报告的11项指标中全部超过基线,SQA-I提升4.2分、MM-Vet提升3.3分,并在Qwen3-VL-2B与LLaVA-NeXT上取得一致增益。

  • DGP让每个LLM层都能访问全部ViT层,按图像—问题上下文与语言层语义状态动态分配融合权重。
  • 在LLaVA-1.5-7B上11项指标全部提升:SQA-I 66.8→71.0、MM-Vet 30.5→33.8、VizWiz与LLaVA-Wild均提升3.1分。
  • 13B配置下11项指标中10项超过基线,VizWiz提升3.8分、MMBench提升2.4分、GQA提升2.2分。
  • 消融显示直接平均全部24个ViT层反而明显掉点,学习到的动态权重是收益的重要来源。
  • 7B模型上增加5.29%参数和4.07% FLOPs,峰值显存基本不变。

为什么值得看

多模态大模型视觉接入方式的一次架构级重设计

适合谁关注

多模态大模型研究与工程人员

原始来源

查看收录日 2026.11.10 全部卡片 · 全部卡片归档