缓解 RAG 中的偏见：控制嵌入器
计算与语言
2025-02-25 v1 机器学习
摘要
在检索增强生成 (RAG) 系统中，每个独立组件——LLM、嵌入器和语料库——都可能以偏向于输出特定观点或身份的形式引入偏见。在这项工作中，我们研究了每个组件偏见之间的冲突及其与 RAG 系统整体偏见的关系，我们将其称为偏见冲突。以性别偏见和政治偏见为案例研究，我们表明，尽管在 6 种不同的 LLM 中具有复杂性，偏见冲突可以通过组件之间的线性关系来刻画。通过创建 120 个具有不同偏见嵌入器的全面微调实验，我们展示了如何在保持效用的同时控制偏见，并揭示了反向偏置嵌入器对于缓解整体系统偏见的重要性。此外，我们发现 LLM 和任务对嵌入器偏见表现出不同的敏感性，这是去偏时需考虑的关键因素。我们的结果强调，通过仔细控制嵌入器的偏见而不是增加其公平性，可以更好地实现公平的 RAG 系统。
引用
@article{arxiv.2502.17390,
title = {Mitigating Bias in RAG: Controlling the Embedder},
author = {Taeyoun Kim and Jacob Springer and Aditi Raghunathan and Maarten Sap},
journal= {arXiv preprint arXiv:2502.17390},
year = {2025}
}
备注
26 pages (8 main), 12 figures, 7 tables