硬币的另一面：探索检索增强生成中的公平性
计算与语言
2025-04-22 v2 人工智能
摘要
检索增强生成 (RAG) 通过从外部知识源检索相关文档来增强大型语言模型 (LLM)。通过引用这些外部知识，RAG 有效地减少了事实上不正确内容的生成，并解决了 LLM 中的幻觉问题。最近，从各个角度提升 RAG 系统性能和效率的关注日益增加。尽管这些进展取得了显著成果，但 RAG 在具有重大社会影响的领域中的应用引发了一个关于公平性的关键问题：RAG 范式的引入对 LLM 的公平性有何影响？为了解决这个问题，我们通过改变 LLM、检索器和检索来源进行了广泛的实验。我们的实验分析表明，LLM 的规模在影响 RAG 框架内的公平性结果方面起着重要作用。当模型规模小于 8B 时，检索机制的集成往往会加剧小规模 LLM（例如 LLaMA3.2-1B、Mistral-7B 和 LLaMA3-8B）的不公平性。为了缓解 RAG 为小规模 LLM 引入的公平性问题，我们提出了两种方法：FairFT 和 FairFilter。具体而言，在 FairFT 中，我们在公平性方面使检索器与 LLM 对齐，使其检索能够促进更公平模型输出的文档。在 FairFilter 中，我们提出了一种公平性过滤机制，以在检索后过滤掉有偏见的内容。最后，我们在真实世界数据集上验证了所提出的方法，证明了它们在保持性能的同时提高公平性的有效性。
引用
@article{arxiv.2504.12323,
title = {The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation},
author = {Zheng Zhang and Ning Li and Qi Liu and Rui Li and Weibo Gao and Qingyang Mao and Zhenya Huang and Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2504.12323},
year = {2025}
}
备注
12 pages