排序群体公平性度量的性质研究
机器学习
2025-03-05 v1 计算机与社会
信息检索
摘要
近年来,为评估排序的群体公平性,已开发出若干度量指标。鉴于这些度量在提出时考虑了不同的应用场景与排序算法,对于特定场景应选用何种度量并不直观。本文对公平排序背景下已有的群体公平性度量进行了全面的比较分析。由于其应用背景多样,我们认为此类比较分析并非易事。为此,我们采用公理化方法,设计了一组针对群体公平性度量的十三个性质,涵盖不同排序设定。随后可根据度量是否满足全部或部分性质来进行选取。我们将这些性质应用于十一个已有群体公平性度量,并通过实证与理论结果证明,这些度量大多仅满足所提性质中的很小子集。上述发现揭示了现有度量的局限性,并为在实际部署中如何评估与解读不同公平性度量提供了见解。所提性质亦可协助从业者针对特定应用选取合适的公平性评估度量。
引用
@article{arxiv.2212.14351,
title = {Properties of Group Fairness Metrics for Rankings},
author = {Tobias Schumacher and Marlene Lutz and Sandipan Sikdar and Markus Strohmaier},
journal= {arXiv preprint arXiv:2212.14351},
year = {2025}
}
备注
26 pages, 7 figures