Vendi-RAG：通过自适应权衡多样性与质量显著提升基于 LLM 的检索增强生成
摘要
检索增强生成（RAG）通过利用外部知识源增强大语言模型（LLM）以完成领域特定的问答（QA）任务。然而，传统的 RAG 系统主要关注基于相关性的检索，在需要连接多个来源信息的推理任务中常常面临冗余问题。本文提出了 Vendi-RAG，一个基于迭代过程的框架，联合优化检索多样性与答案质量。这种联合优化在多跳 QA 任务中带来了显著更高的准确率。Vendi-RAG 利用 Vendi 分数（VS），一种灵活的基于相似度的多样性度量，来促进文档检索中的语义多样性。随后，它使用一个 LLM 裁判评估推理步骤后生成的候选答案，并输出一个供检索器在每次迭代中平衡检索文档相关性与多样性的分数。在三个具有挑战性的数据集——HotpotQA、MuSiQue 和 2WikiMultiHopQA——上的实验验证了 Vendi-RAG 在多跳推理任务中的有效性。与当前最佳基线 Adaptive-RAG 相比，该框架实现了显著的准确率提升，在 HotpotQA 上提升高达 +4.2%，在 2WikiMultiHopQA 上提升 +4.1%，在 MuSiQue 上提升 +1.3%。Vendi-RAG 的优势在检索文档数量增加时更加明显。最后，我们在不同的 LLM 骨干网络上评估了 Vendi-RAG，包括 GPT-3.5、GPT-4 和 GPT-4o-mini，观察到一致的提升，证明该框架的优势与模型无关。
引用
@article{arxiv.2502.11228,
title = {Vendi-RAG: Adaptively Trading-Off Diversity And Quality Significantly Improves Retrieval Augmented Generation With LLMs},
author = {Mohammad Reza Rezaei and Adji Bousso Dieng},
journal= {arXiv preprint arXiv:2502.11228},
year = {2025}
}
备注
A RAG pipeline that accounts for both diversity and answer quality and that can be used with any LLM backbone to solve complex multi-hop question-answering tasks