通过批内平衡正则化消除神经检索的偏差
信息检索
2022-05-20 v1 人工智能
计算机与社会
摘要
人们频繁与信息检索（IR）系统交互，然而 IR 模型对各种人口统计群体表现出偏见与歧视。处理中的公平排序方法通过在损失函数中添加公平性相关正则化项，在准确率与公平性之间提供权衡。然而，尚未有依赖于点击概率与用户参与度的直观目标函数直接朝此优化。本工作中，我们提出批内平衡正则化（IBBR）以减轻子群体间的排序差异。特别地，我们开发了可微的\textit{范数化成对排序公平性}（nPRF），并利用基于 nPRF 在子群体上的 T 统计量作为正则化以提升公平性。基于 BERT 的神经排序器在 MS MARCO 段落检索数据集及人工标注的非性别化查询基准 \citep{rekabsaz2020neural} 上的实证结果表明，相较于基线，我们的带 nPRF 的 IBBR 方法在排序性能退化极小的情况下显著减少了偏差。
引用
@article{arxiv.2205.09240,
title = {Debiasing Neural Retrieval via In-batch Balancing Regularization},
author = {Yuantong Li and Xiaokai Wei and Zijian Wang and Shen Wang and Parminder Bhatia and Xiaofei Ma and Andrew Arnold},
journal= {arXiv preprint arXiv:2205.09240},
year = {2022}
}
备注
9 pages, 1 figure, and 3 tables. A version appears in the Proceedings of the 4th Workshop on Gender Bias in Natural Language Processing (GeBNLP), 2022