W-RAG：面向开放域问答的 RAG 中弱监督密集检索
计算机视觉与模式识别
2025-08-14 v2 人工智能
摘要
在知识密集型任务如开放域问答（OpenQA）中，大语言模型（LLM）往往仅依赖其内部（参数化）知识，难以生成事实性答案。为解决这一局限，检索增强生成（RAG）系统通过从外部来源检索相关信息来增强 LLM，从而将检索器定位为关键组件。尽管密集检索展现出最先进的性能，但其训练面临挑战，主要归因于人工标注真实证据的高昂成本。在本文中，我们提出 W-RAG，一种从 LLM 的下游任务（如 OpenQA）中获取弱训练信号的方法，并微调检索器以优先选择对任务最有帮助的段落。具体而言，我们通过评估给定每个段落后 LLM 生成正确答案的概率，对通过 BM25 检索到的前 k 个段落进行重排序。排名最高的段落随后被用作密集检索微调的阳性样本。我们在四个公开可用的 OpenQA 数据集上进行了全面实验，以证明我们的方法在检索和 OpenQA 性能方面均优于基线模型，达到了与使用人工标注数据微调的模型相当的结果。
引用
@article{arxiv.2408.08447,
title = {SpectralEarth: Training Hyperspectral Foundation Models at Scale},
author = {Nassim Ait Ali Braham and Conrad M Albrecht and Julien Mairal and Jocelyn Chanussot and Yi Wang and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2408.08447},
year = {2025}
}