Token Pooling 感知训练:多向量嵌入模型压缩后检索质量提升
2026.11.11 · 收录日 2026.11.11 · 模型 · 技术方法 · 官方发布
多向量模型压缩后易丢信息,感知训练让编码器学会在合并向量时保留关键信息。
HuggingFace 作者 Tom Aarsen 介绍多向量嵌入模型的 Token Pooling 压缩方法,并训练模型在压缩检索下保持质量。实验显示,pool_factor=4 时普通模型保留 94.6% 的 NanoBEIR nDCG@10,而 pooling 感知训练将保留率提升到 97.8%,存储预算相同。
- 多向量模型为每个查询 token 保留独立向量,百万文档语料可含数亿向量,存储开销大。
- Token Pooling 用 Ward 层次聚类合并相似 token 向量,pool_factor=4 约保留四分之一向量。
- pool_factor=4 时普通模型保留 94.6% 未池化 NanoBEIR nDCG@10,感知训练提升至 97.8%。
- HierarchicalTokenPooling 支持 max_tokens、pool_factor、distance_threshold 三种压缩控制方式。
- 默认保护首个 token,池化仅作用于文档嵌入,查询嵌入保持不变。
为什么值得看
了解多向量检索在压缩存储下如何保持检索质量。
适合谁关注
做检索、RAG 和向量数据库的开发者与研究者。
