弥合检索与增强生成的推理缩放
计算与语言
2024-12-17 v1
摘要
检索增强生成 (Retrieval-augmented generation, RAG) 已成为一种引导大语言模型 (LLM) 输出的流行方法,它将检索到的上下文作为输入纳入其中。然而,现有工作观察到了生成器偏差,即改进检索结果可能对输出产生负面影响。在本工作中,我们展示了这种偏差可以通过推理缩放来缓解,即聚合来自检索上下文排列顺序的推理调用。所提出的干预混合 (Mixture-of-Intervention, MOI) 通过多次前向传播显式地对每个段落的去偏效用进行建模,以构建新的排序。我们还表明,MOI 可以利用检索器的先验知识,通过最小化所考虑的排列数量并降低每次 LLM 调用的成本,来减少计算开销。我们在多样化的 RAG 任务上展示了 MOI 的有效性,在 MS MARCO 上的 ROUGE-L 和 HotpotQA 基准上的 EM 均提升了约 7 个点。
引用
@article{arxiv.2412.10684,
title = {Inference Scaling for Bridging Retrieval and Augmented Generation},
author = {Youngwon Lee and Seung-won Hwang and Daniel Campos and Filip Graliński and Zhewei Yao and Yuxiong He},
journal= {arXiv preprint arXiv:2412.10684},
year = {2024}
}