检索增强遇见长上下文大语言模型
计算与语言
2024-01-24 v2 人工智能
信息检索
机器学习
摘要
扩展大语言模型（LLMs）的上下文窗口近来日益流行，而以检索增强 LLM 的方案已存在多年。自然的问题是：i）检索增强与长上下文窗口，哪种对下游任务更优？ii）能否将两种方法结合以兼得二者之长？在本工作中，我们通过使用两个最先进的预训练 LLM（即专有的 43B GPT 和 Llama2-70B）研究这两种方案来回答这些问题。或许令人惊讶的是，我们发现具有 4K 上下文窗口、在生成时采用简单检索增强的 LLM，在长上下文任务上可达到通过位置插值微调的 16K 上下文窗口 LLM 的相当性能，同时计算量大幅减少。更重要的是，我们证明无论扩展的上下文窗口大小如何，检索都能显著提升 LLM 的性能。我们的最佳模型，具有 32K 上下文窗口的检索增强 Llama2-70B，在包括问答、基于查询的摘要和上下文少样本学习任务在内的九项长上下文任务的平均得分上优于 GPT-3.5-turbo-16k 和 Davinci003。它也以一定优势超越其无检索的 Llama2-70B-32k 基线，同时在生成时快得多。我们的研究为从业者关于检索增强与 LLM 长上下文扩展的选择提供了一般性见解。
引用
@article{arxiv.2310.03025,
title = {Retrieval meets Long Context Large Language Models},
author = {Peng Xu and Wei Ping and Xianchao Wu and Lawrence McAfee and Chen Zhu and Zihan Liu and Sandeep Subramanian and Evelina Bakhturina and Mohammad Shoeybi and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2310.03025},
year = {2024}
}
备注
Published at ICLR 2024