LLM 的长上下文与 RAG：评估与再探讨
计算与语言
2025-01-06 v1
摘要
扩展上下文窗口（即长上下文，Long Context, LC）与使用检索器选择性访问相关信息（即检索增强生成，Retrieval-Augmented Generation, RAG）是使 LLM 能够纳入极长外部上下文的两种主要策略。本文重新审视了近期关于该主题的研究，强调了它们的关键见解与分歧。随后，我们通过滤除无需外部上下文即可回答的问题、识别最有效的检索方法以及扩展数据集，提供了更全面的评估。我们表明，在问答基准测试中 LC 通常优于 RAG，尤其是对于基于 Wikipedia 的问题。基于摘要的检索表现与 LC 相当，而基于分块的检索则落后。然而，RAG 在基于对话的查询和一般问题查询中具有优势。这些见解强调了 RAG 与 LC 策略之间的权衡，为未来利用外部知识源优化 LLM 提供了指导。我们还对此主题进行了深入讨论，强调了现有研究中被忽视的上下文相关性的重要性。
引用
@article{arxiv.2501.01880,
title = {Long Context vs. RAG for LLMs: An Evaluation and Revisits},
author = {Xinze Li and Yixin Cao and Yubo Ma and Aixin Sun},
journal= {arXiv preprint arXiv:2501.01880},
year = {2025}
}
备注
14 pages excluding references and appendix