内存管理对 LLM 代理影响：经验跟随行为的实证研究
人工智能
2025-10-14 v2
摘要
内存是大语言模型（LLM）基于代理系统中的关键组件，使其能够存储和检索过去的执行情况，以提高随时间推移的任务性能。本文对 LLM 代理的内存管理选择如何影响其行为进行了实证研究，特别是关注其长期性能。具体而言，我们聚焦于许多代理框架广泛使用的两种基本内存管理操作——内存添加和删除——系统性地研究其对代理行为的影响。通过我们的定量分析，我们发现 LLM 代理表现出经验跟随特性：任务输入与检索到记忆记录中输入高度相似性，往往导致代理输出高度相似。我们的分析进一步揭示了这一特性的两个重大挑战：错误传播，即过去经验中的不准确信息会累积并降低未来性能；以及经验回放的误对齐，即某些看似正确的执行作为经验时可能提供有限甚至误导性的价值。通过控制实验，我们展示了规范经验质量在记忆库中的重要性，并表明未来的任务评估可作为存储记忆的免费质量标签。我们的发现为理解 LLM 代理记忆系统的行为动态提供了见解，并为设计支持稳健长期代理性能的记忆组件提供了实用指导。
引用
@article{arxiv.2505.16067,
title = {How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior},
author = {Zidi Xiong and Yuping Lin and Wenya Xie and Pengfei He and Zirui Liu and Jiliang Tang and Himabindu Lakkaraju and Zhen Xiang},
journal= {arXiv preprint arXiv:2505.16067},
year = {2025}
}