统一 Radix 缓存：为混合模型前缀缓存构建单一树结构
2026.08.11 · 产品 · 开源项目 · 社区热议
LMSYS 团队提出 Unified Radix Cache，通过单一树结构解决混合模型多组件缓存复用规则冲突的问题。
随着混合模型结合 全量注意力、滑动窗口和循环状态 等不同组件，传统的单一缓存复用规则失效。LMSYS 推出的 Unified Radix Cache 用单一 token 键控的 radix 拓扑统一管理前缀，将共享前缀身份与组件特定的复用语义解耦，消除了组合类爆炸问题。
- 混合模型各组件具有不同的 KV 复用边界与语义。
- 传统实现因组合不同缓存类导致逻辑重复和膨胀。
- Unified Radix Cache 用单一 radix 拓扑统一管理前缀。
- 组件独立定义复用语义并挂载到统一的核心树结构上。
为什么值得看
解决了混合模型缓存架构中复杂的组合膨胀难题，提升了前缀缓存的扩展性。
适合谁关注
大模型架构师、推理引擎开发人员、AI 系统研究员。