级联去偏:研究多种公平性增强干预的累积效应
机器学习
2022-08-24 v2 人工智能
计算机与社会
摘要
理解机器学习(ML)流水线不同阶段的多种公平性增强干预的累积效应,是公平性文献中一个关键且未被充分探索的方面。此类知识对数据科学家/ML 从业者设计公平的 ML 流水线具有价值。本文通过一项广泛的实证研究在该领域迈出第一步,该研究包含 60 种干预组合、9 个公平性度量、2 个效用度量(准确率和 F1 分数)跨 4 个基准数据集。我们定量分析了实验数据以衡量多种干预对公平性、效用和群体的影响。我们发现,应用多种干预总体上比单一干预带来更好的公平性和更低的效用。然而,增加更多干预并不总带来更好的公平性或更差的效用。获得高绩效(F1 分数)兼高公平性的可能性随干预数量增多而增大。不利的一面是,我们发现公平性增强干预会对不同群体产生负面影响,尤其是特权群体。本研究凸显了需要新的公平性度量,以考量对不同群体的影响,而非仅考量群体间差异。最后,我们提供了一份针对不同公平性和效用度量表现最佳的干预组合清单,以辅助公平 ML 流水线的设计。
引用
@article{arxiv.2202.03734,
title = {Cascaded Debiasing: Studying the Cumulative Effect of Multiple Fairness-Enhancing Interventions},
author = {Bhavya Ghai and Mihir Mishra and Klaus Mueller},
journal= {arXiv preprint arXiv:2202.03734},
year = {2022}
}
备注
Accepted to ACM CIKM Conference 2022