越过上下文压缩,上智院开源REMORY,一个1.9B的记忆模块就能让小模型独立工作3天,产出不输GPT-6.1-Terra

2026.11.11 · 收录日 2026.11.11 · 模型 · 开源项目 · 论文预印本

上智院联合复旦开源1.9B记忆模块REMORY,用两张H800自监督训练,让小模型跨上下文压缩持续工作。

上海科学智能研究院携手上海创智学院、复旦大学组成团队,开源记忆模块REMORY,仅用1.9B可训练参数和两张H800完成完全自监督训练。它通过生成概要残差token延续记忆,驱动小模型持续数日递归改进,多项评测领先,产出接近GPT-6.1-Terra。

  • REMORY以概要为条件生成residual tokens软记忆,与概要拼接后供主模型继续执行任务。
  • 训练全程自监督、基模权重冻结,梯度穿过冻结主模型,只更新约1.9B的REMORY参数。
  • Qwen3.8-27B跑Terminal-Bench 2.1时工具报错由933次降至568次,每任务生成开销从4.29美元降至2.86美元。
  • BrowseComp中工具报错由25,244次降至12,698次,减少49.7%;重复输出减少29.8%。
  • GLM-5.3-Flash在Terminal-Bench 2.1和BrowseComp得分分别由84.3、84.9提升至87.6、89.0。

为什么值得看

记忆模块让小模型跨上下文压缩持续工作,成本与报错双降。

适合谁关注

关注智能体记忆、长任务与开源模型的开发者与研究者。

原始来源

查看收录日 2026.11.11 全部卡片 · 全部卡片归档