当常规学习走向内存：LLM 代理中经验重用的研究
机器学习
2026-05-01 v1 人工智能
摘要
内存增强型 LLM 代理提供了一种常规学习的快捷方式：通过外部内存积累经验，似乎绕过了参数化学习的稳定性-塑性困境。我们展示了这一挑战并未消失，而是在内存层面重新出现。在受限上下文窗口下，旧经验与新经验在检索期间发生竞争，将常规学习瓶颈从参数更新转移到内存访问。为研究这一现象，我们引入一个 (k,v) 框架，将外部内存的两个基本设计轴无缝分离：经验如何被表示以及如何组织以便检索。在顺序任务实验中，ALFWorld 和 BabyAI 上，我们发现抽象程序记忆比详细轨迹更可靠地传递，而负向迁移则不成比例地损害难题。此外，更细粒度的记忆组织并非 universally 有益：能够实现强大前向迁移的设计同时可引发严重遗忘。综合这些结果表明，外部记忆并未解决常规学习问题；它将其重新定义为记忆表示和检索设计的问题。
引用
@article{arxiv.2604.27003,
title = {When Continual Learning Moves to Memory: A Study of Experience Reuse in LLM Agents},
author = {Qisheng Hu and Quanyu Long and Wenya Wang},
journal= {arXiv preprint arXiv:2604.27003},
year = {2026}
}
备注
Working in progress