SirLLM：流式无限记忆大语言模型
计算与语言
2024-05-22 v1
摘要
随着大语言模型（LLMs）在各个领域日益普及，它们处理任意长度输入并保持一定记忆能力的能力变得至关重要。然而，一次性输入过长的文本是受限的，因为研究表明，当输入长度超过LLMs预训练文本长度时，文本生成能力会急剧下降。此外，简单地延长预训练文本长度并不实际，因为获取长文本数据存在困难，且这会为LLMs带来巨大的内存消耗成本。最近的研究采用流式输入来缓解过长文本输入的压力，但这种方法会显著损害模型的长期记忆能力。受这一挑战的启发，我们提出了流式无限记忆大语言模型（SirLLM），它允许LLMs在无限长度对话中保持更长的记忆，而无需微调。SirLLM利用令牌熵（Token Entropy）指标和记忆衰减机制来过滤关键短语，赋予LLMs持久且灵活的记忆。我们设计了三个不同的任务并构建了三个数据集，从不同角度衡量SirLLM的有效性：（1）DailyDialog；（2）Grocery Shopping；（3）Rock-Paper-Scissors。我们的实验结果有力地表明，SirLLM能够在不同的LLMs和任务上实现稳定且显著的改进，令人信服地证明了其有效性。在对话中，“一位先生可能会忘记自己”，但SirLLM永远不会！我们的代码公开在https://github.com/Zoeyyao27/SirLLM。
引用
@article{arxiv.2405.12528,
title = {SirLLM: Streaming Infinite Retentive LLM},
author = {Yao Yao and Zuchao Li and Hai Zhao},
journal= {arXiv preprint arXiv:2405.12528},
year = {2024}
}