Token Pooling 感知训练:多向量嵌入模型压缩后检索质量提升

2026.11.11 · 收录日 2026.11.11 · 模型 · 技术方法 · 官方发布

多向量模型压缩后易丢信息,感知训练让编码器学会在合并向量时保留关键信息。

HuggingFace 作者 Tom Aarsen 介绍多向量嵌入模型的 Token Pooling 压缩方法,并训练模型在压缩检索下保持质量。实验显示,pool_factor=4 时普通模型保留 94.6% 的 NanoBEIR nDCG@10,而 pooling 感知训练将保留率提升到 97.8%,存储预算相同。

  • 多向量模型为每个查询 token 保留独立向量,百万文档语料可含数亿向量,存储开销大。
  • Token Pooling 用 Ward 层次聚类合并相似 token 向量,pool_factor=4 约保留四分之一向量。
  • pool_factor=4 时普通模型保留 94.6% 未池化 NanoBEIR nDCG@10,感知训练提升至 97.8%。
  • HierarchicalTokenPooling 支持 max_tokens、pool_factor、distance_threshold 三种压缩控制方式。
  • 默认保护首个 token,池化仅作用于文档嵌入,查询嵌入保持不变。

为什么值得看

了解多向量检索在压缩存储下如何保持检索质量。

适合谁关注

做检索、RAG 和向量数据库的开发者与研究者。

原始来源

查看收录日 2026.11.11 全部卡片 · 全部卡片归档