从单一到多粒度：面向对话代理的长期记忆关联与选择
计算与语言
2025-09-30 v2
摘要
大型语言模型近期已被广泛应用于对话代理中。然而，用户与代理之间日益增长的交互积累了大量对话记录，使得具有有限上下文窗口的 LLM 难以维持连贯的长期对话记忆并提供个性化回复。尽管检索增强记忆系统已出现以解决此问题，但现有方法通常依赖于单一粒度的记忆分割与检索。这种方法在捕获深层记忆联系方面存在不足，导致有用信息的部分检索或大量噪声，造成次优性能。为解决这些限制，我们提出了 MemGAS，这是一个通过构建多粒度关联、自适应选择和检索来增强记忆巩固的框架。MemGAS 基于多粒度记忆单元，并采用高斯混合模型将新记忆与历史记忆进行聚类和关联。一个基于熵的路由器通过评估查询相关性分布并平衡信息完整性与噪声，自适应地选择最优粒度。检索到的记忆通过基于 LLM 的过滤进一步精炼。在四个长期记忆基准上的实验表明，MemGAS 在问答和检索任务上均优于 state-of-the-art 方法，在不同查询类型和 top-K 设置下均取得了卓越的性能。\footnote{https://github.com/quqxui/MemGAS}
引用
@article{arxiv.2505.19549,
title = {From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents},
author = {Derong Xu and Yi Wen and Pengyue Jia and Yingyi Zhang and wenlin zhang and Yichao Wang and Huifeng Guo and Ruiming Tang and Xiangyu Zhao and Enhong Chen and Tong Xu},
journal= {arXiv preprint arXiv:2505.19549},
year = {2025}
}