不做Token化,也不搞双系统!多模态模型有了第三条路

2026.11.05 · 收录日 2026.11.05 · 事件 · 论文 · 论文预印本

华中科大与地平线提出Multimodal Flow,用全连续架构统一语言与视觉建模

华中科技大学王兴刚团队与地平线机器人等机构提出 Multimodal Flow,让语言和视觉各自保留连续嵌入空间,共享同一个 Flow Matching 目标。实例化模型 MF-1 仅 1.6B 参数、消耗 150B Tokens,在受控对比中全面超越混合式与全离散架构。

  • 全连续路线:语言与视觉保留原生连续嵌入,共享同一 Flow Matching 目标,无需量化或维护两套系统
  • MF-1 仅 1.6B 参数、150B Tokens 从零预训练,GenEval 得分 0.821,DPG-Bench 长提示词对齐 83.44
  • 多模态理解 VQAv2 72.6、MMBench 67.2、POPE 86.1,三项平均 75.3,超越部分用预训练 LLM 初始化的同体量模型
  • 核心设计为超块(Hyperchunk)与 Chunk-Causal Flow 骨干:注意力层共享、FFN 独立,改变超块顺序即可切换任务
  • 消融发现:SigLIP2、DINOv2 等语义特征优于 VAE 潜变量;同一 CFG 可同时作用于文本和图像

为什么值得看

全连续架构首次在受控对比中全面超越主流两条路线

适合谁关注

多模态模型研究者、生成模型工程师、AI 技术决策者

原始来源

查看收录日 2026.11.05 全部卡片 · 全部卡片归档