自我提升：基于自记忆的检索增强文本生成
计算与语言
2023-12-27 v3 人工智能
摘要
由于能够直接以人工撰写的参考文本作为记忆，检索增强生成已在广泛的文本生成任务中取得诸多进展。因为更好的记忆通常会带来更好的生成（我们将其定义为原始问题）。传统的记忆检索方法倾向于选择与输入相似度最高的记忆，然而该方法受限于用于检索记忆的固定语料库的质量。本文通过探究原始问题的对偶性——更好的生成也会带来更好的记忆，提出了一种新颖的框架 selfmem，它通过迭代地使用检索增强生成器来构建一个无界的记忆池，并利用记忆选择器选取一个输出作为下一轮生成的记忆，从而突破了上述局限。这使得模型能够利用其自身的输出（称为自记忆）来改进生成。我们在三种不同的文本生成任务上评估了 selfmem 的有效性：神经机器翻译、抽象式文本摘要和对话生成，并采用两种生成范式：微调小模型与少样本 LLM。我们的方法在 JRC-Acquis 的四个翻译方向、XSum（50.3 ROUGE-1）和 BigPatent（62.9 ROUGE-1）上取得了最先进的结果，展示了自记忆在增强检索增强生成模型方面的潜力。此外，我们对 selfmem 框架中的每个组件进行了深入分析，以识别瓶颈并为未来研究提供见解。
引用
@article{arxiv.2305.02437,
title = {Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory},
author = {Xin Cheng and Di Luo and Xiuying Chen and Lemao Liu and Dongyan Zhao and Rui Yan},
journal= {arXiv preprint arXiv:2305.02437},
year = {2023}
}
备注
Neurips 2023