Memorilla:16个记忆token为冻结LLM构建潜在语义记忆
2026.11.07 · 收录日 2026.11.07 · 产品 · 论文 · 论文预印本
论文补充作者名单、arXiv编号v3、cs.LG/cs.AI分类与DOI
斯坦福等团队提出Memorilla,为冻结LLM把整库文档汇聚为固定数量的查询相关记忆token,仅用16个记忆token在八项基准中的五项优于Mem0、MemoRAG等基线。FactKG上达84.33%准确率,高于全上下文推理的80.43%,表示源文档token少108倍。论文arXiv编号2610.21375,2026年10月15日提交v1、11月3日修订为v3,作者含Jure Leskovec。
- Memorilla把整个文档集合的信息汇聚为固定数量的、依赖查询的“记忆token”,供冻结LLM使用。
- 文档只需编码一次为可复用嵌入,系统再学习检索并把查询相关信息放入LLM输入嵌入空间。
- 仅用16个记忆token,在八项基准中的五项优于Mem0、MemoRAG等基线;FactKG上84.33%对全上下文的80.43%,表示源文档token少108倍。
- TextWorld环境中减少智能体在已探索房间间徘徊,平均成功率从全历史上下文学习的18.6%提升到24.2%。
- 论文作者为Adibvafa Fallahpour等,arXiv:2610.21375,2026年10月15日v1、11月3日v3,分类cs.LG与cs.AI,DOI…
为什么值得看
补充论文作者、版本与DOI等可核对元数据
适合谁关注
斯坦福等团队,含Jure Leskovec