论文辩护：在长上下文语言模型时代重视 RAG
计算与语言
2024-09-04 v1
摘要
克服早期大语言模型的上下文限制瓶颈，检索增强生成 (RAG) 在过去一段时间内一直是基于上下文答案生成可靠的解决方案。然而，近期出现了长上下文大语言模型，使模型能够纳入更长的文本序列，使得 RAG 变得不那么引人注目。最近的研究表明，长上下文大语言模型在长上下文应用中显著优于 RAG。与现有研究倾向于优于 RAG 的长上下文大语言模型不同，我们认为极长的上下文会导致对相关信息关注力下降，从而可能导致答案质量下降。本文重新审视长上下文答案生成中的 RAG。我们提出一种保持顺序的检索增强生成 (OP-RAG) 机制，显著提高了 RAG 在长上下文问答应用中的性能。通过 OP-RAG，随着检索块数的增加，答案质量先上升后下降，形成倒U型曲线。在 OP-RAG 能够以远少于长上下文大语言模型输入整个上下文所需的标记数的情况下，实现更高的答案质量。广泛的实验在公开基准数据集上证明了我们 OP-RAG 的优越性。
引用
@article{arxiv.2409.01666,
title = {In Defense of RAG in the Era of Long-Context Language Models},
author = {Tan Yu and Anbang Xu and Rama Akkiraju},
journal= {arXiv preprint arXiv:2409.01666},
year = {2024}
}