具有超长上下文要旨记忆的类人阅读智能体
计算与语言
2024-07-23 v3 人工智能
信息检索
摘要
当前的大型语言模型（LLM）不仅受限于某个最大上下文长度，而且无法稳健地处理长输入。为了解决这些局限性，我们提出了 ReadAgent，这是一个在我们的实验中将有效上下文长度增加多达 20 倍的 LLM 智能体系统。受人类交互式阅读长文档方式的启发，我们将 ReadAgent 实现为一个简单的提示系统，它利用 LLM 的高级语言能力来 (1) 决定将哪些内容一起存储在一个记忆片段中，(2) 将这些记忆片段压缩成称为要旨记忆的简短情景记忆，以及 (3) 如果 ReadAgent 需要提醒自己相关细节以完成任务，则采取行动在原文中查找段落。我们使用检索方法、使用原始长上下文以及使用要旨记忆作为基线对 ReadAgent 进行了评估。这些评估在三个长文档阅读理解任务上进行：QuALITY、NarrativeQA 和 QMSum。ReadAgent 在所有三个任务上均优于基线，同时将有效上下文窗口扩展了 3.5-20 倍。
引用
@article{arxiv.2402.09727,
title = {A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts},
author = {Kuang-Huei Lee and Xinyun Chen and Hiroki Furuta and John Canny and Ian Fischer},
journal= {arXiv preprint arXiv:2402.09727},
year = {2024}
}
备注
Website: https://read-agent.github.io