迈向公平的 RAG:公平排序在检索增强生成中的影响
信息检索
2025-07-08 v4 人工智能
计算与语言
摘要
尽管检索在检索增强生成(RAG)系统中扮演核心角色,但现有的大部分 RAG 研究忽视了成熟的公平排序领域,也未考虑所有相关利益相关者的利益。在本文中,我们对集成公平感知排序的 RAG 系统进行了首次系统性评估,同时涉及排序公平性和归因公平性,后者确保生成内容中引用的来源获得公平的曝光。我们的评估侧重于衡量项目侧公平性,具体指 RAG 系统检索到的相关项目的公平曝光,并研究这种公平性如何影响系统有效性以及用户最终看到的生成输出中的来源归因。通过在七个不同任务上对十二个 RAG 模型进行实验,我们发现引入公平感知检索通常能保持甚至提升排序质量和生成质量,这与公平性会损害系统性能的普遍观点相反。此外,我们证明公平检索实践能使最终回答中的归因更加均衡,确保生成器公平地引用其依赖的来源。我们的研究结果强调了项目侧公平性在检索和生成中的重要性,为负责任且公平的 RAG 系统奠定了基础,并指导了公平排序与归因领域的未来研究。
引用
@article{arxiv.2409.11598,
title = {Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation},
author = {To Eun Kim and Fernando Diaz},
journal= {arXiv preprint arXiv:2409.11598},
year = {2025}
}
备注
ICTIR 2025 (Oral); NeurIPS 2024 AFME Workshop (Spotlight)