FIT-RAG：融入事实信息并缩减词元数量的黑盒检索增强生成
计算与语言
2024-03-22 v1 信息检索
摘要
由于参数量极其庞大，在许多应用中微调大语言模型（LLM）以更新长尾或过时知识是不切实际的。为避免微调，我们可以将 LLM 视为黑盒（即冻结 LLM 的参数），并用检索增强生成（RAG）系统对其进行增强，即黑盒 RAG。近来，黑盒 RAG 在知识密集型任务中取得了成功并备受关注。现有的黑盒 RAG 方法通常微调检索器以迎合 LLM 的偏好，并将所有检索到的文档拼接作为输入，这存在两个问题：（1）忽视事实信息。LLM 偏好的文档可能不包含给定问题的事实信息，这会误导检索器并损害黑盒 RAG 的有效性；（2）浪费词元。简单拼接所有检索到的文档会给 LLM 带来大量不必要的词元，从而降低黑盒 RAG 的效率。为解决这些问题，本文提出了一种新颖的黑盒 RAG 框架，该框架利用检索中的事实信息并减少用于增强的词元数量，称为 FIT-RAG。FIT-RAG 通过构建双标签文档评分器来利用事实信息。此外，它通过引入自知识识别器和子文档级词元缩减器来减少词元数量。FIT-RAG 同时实现了优越的有效性和效率，这一点通过在三个开放域问答数据集（TriviaQA、NQ 和 PopQA）上的广泛实验得到了验证。FIT-RAG 可以将 Llama2-13B-Chat 的答题准确率在 TriviaQA 上提高 14.3%，在 NQ 上提高 19.9%，在 PopQA 上提高 27.5%。此外，它平均可以在这三个数据集上节省大约一半的词元。
引用
@article{arxiv.2403.14374,
title = {FIT-RAG: Black-Box RAG with Factual Information and Token Reduction},
author = {Yuren Mao and Xuemei Dong and Wenyi Xu and Yunjun Gao and Bin Wei and Ying Zhang},
journal= {arXiv preprint arXiv:2403.14374},
year = {2024}
}