中文

大型语言模型代理的记忆机制综述

人工智能 2024-04-23 v1

摘要

大型语言模型(LLM) 代理最近受到研究和行业社区的广泛关注。与原始 LLM 相比,LLM 代理具有自我演化能力,这是解决需要长期和复杂代理-环境相互作用的现实问题的基础。支持代理-环境相互作用的关键组件是代理的记忆功能。虽然之前的研究提出了许多有前景的记忆机制,但这些机制分散在不同的论文中,且缺乏从整体角度对这些作品进行系统性综述来总结和比较的工作,无法抽象出激发未来研究的常见且有效的设计模式。为弥合这一差距,本文对 LLM 代理的记忆机制进行了全面综述。具体而言,我们首先讨论"记忆是什么"以及"我们为何需要" LLM 代理中的记忆。然后,我们系统性地综述了关于如何设计和评估记忆模块的先前研究。此外,我们还介绍了许多代理应用程序,其中记忆模块发挥着重要作用。最后,我们分析了现有工作的局限性,指出了重要的未来方向。为跟上本领域的最新进展,我们在 \url{https://github.com/nuster1128/LLM_Agent_Memory_Survey} 上创建了一个存储库。

关键词

引用

@article{arxiv.2404.13501,
  title  = {A Survey on the Memory Mechanism of Large Language Model based Agents},
  author = {Zeyu Zhang and Xiaohe Bo and Chen Ma and Rui Li and Xu Chen and Quanyu Dai and Jieming Zhu and Zhenhua Dong and Ji-Rong Wen},
  journal= {arXiv preprint arXiv:2404.13501},
  year   = {2024}
}

备注

39 pages, 5 figures, 4 tables