跨模型上下文交接还要重算KV?北大提出MapFlow,让注意力跨模型复用
2026.11.08 · 收录日 2026.11.08 · 事件 · 论文 · 论文预印本
北大团队提出MapFlow,用注意力图作为跨模型中间状态,让不同规模模型共享已算出的token依赖关系。
北京大学PKU-DAIR苗旭鹏团队提出MapFlow,将注意力图作为跨模型复用的中间状态,通过轻量映射、稀疏压缩和融合GPU内核实现复用。评测中在保持生成质量的同时将prefill延迟降低15%–20%,多轮对话路由下相同P90首token延迟约束的吞吐量最高提升25%,论文已被SIGMOD 2027录用并开源。
- MapFlow把注意力图当作跨模型复用的中间状态,绕开KV Cache与模型参数强绑定、难以跨模型共享的问题。
- 接收模型先正常计算前若干层,再通过层映射和头映射复用发送模型的注意力图,只训练映射权重,原始参数冻结。
- Ministral3-8B→3B配置中新增权重不到接收模型参数量的0.001%,映射关系通过离线校准获得。
- 系统用块稀疏压缩、前缀哈希缓存管理和融合内核解决注意力图存储与执行开销,已集成到vLLM。
- 三个模型串联工作流中每轮减少0.48–0.73秒耗时,端到端加速最高达5.4%。
为什么值得看
多模型协作的重复prefill开销有了可复用的新解法。
适合谁关注
关注LLM推理优化、多模型Agent系统的开发者与研究者。
