跨模型上下文交接还要重算KV?北大提出MapFlow,让注意力跨模型复用

2026.11.08 · 收录日 2026.11.08 · 事件 · 论文 · 论文预印本

北大团队提出MapFlow,用注意力图作为跨模型中间状态,让不同规模模型共享已算出的token依赖关系。

北京大学PKU-DAIR苗旭鹏团队提出MapFlow,将注意力图作为跨模型复用的中间状态,通过轻量映射、稀疏压缩和融合GPU内核实现复用。评测中在保持生成质量的同时将prefill延迟降低15%–20%,多轮对话路由下相同P90首token延迟约束的吞吐量最高提升25%,论文已被SIGMOD 2027录用并开源。

  • MapFlow把注意力图当作跨模型复用的中间状态,绕开KV Cache与模型参数强绑定、难以跨模型共享的问题。
  • 接收模型先正常计算前若干层,再通过层映射和头映射复用发送模型的注意力图,只训练映射权重,原始参数冻结。
  • Ministral3-8B→3B配置中新增权重不到接收模型参数量的0.001%,映射关系通过离线校准获得。
  • 系统用块稀疏压缩、前缀哈希缓存管理和融合内核解决注意力图存储与执行开销,已集成到vLLM。
  • 三个模型串联工作流中每轮减少0.48–0.73秒耗时,端到端加速最高达5.4%。

为什么值得看

多模型协作的重复prefill开销有了可复用的新解法。

适合谁关注

关注LLM推理优化、多模型Agent系统的开发者与研究者。

原始来源

查看收录日 2026.11.08 全部卡片 · 全部卡片归档