8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准
2026.11.21 · 收录日 2026.11.21 · 模型 · 论文 · 论文预印本
腾讯元宝与KCL推出GroupAssistBench,用50个真实群聊、8万条消息考Agent记忆。
腾讯元宝与伦敦国王学院NLP团队联合推出GroupAssistBench,基于50个真实群聊、80,299条历史消息构建2,395道评测题,检验Agent记忆能否从“记得住”走向“用得好”。研究比较14组配置,发现更会回忆并不必然更会服务,并探索RER、ACB两种轻量干预。
- 数据来自50个真实群聊、80,299条历史消息,构建2,395道评测题,分L1记忆召回(1,374道)与L2记忆使用(1,021道)。
- 按记忆结构分M1单条记忆、M2多记忆整合、M3更新与冲突处理,M3需识别旧决定何时被新决定取代。
- EverMemOS在L1得0.621高于完整上下文0.570,但L2得0.247低于完整上下文0.431,说明会回忆不等于会服务。
- 为L2题构建定制评分准则Rubric,含Grounding、Service、Penalty三部分,自动评判与人工多数票一致率89.3%。
- RER让LightMem的L2平均分提高6.28个百分点,ACB让xMemory与EverMemOS分别提高3.94和3.16个百分点。
为什么值得看
首个基于真实群聊构建的Agent记忆基准,揭示记忆“用得好”的难点。
适合谁关注
关注Agent记忆、多用户助手与评测基准的研究者和开发者。
