公平性的脆弱性：针对公平机器学习的因果敏感性分析
机器学习
2024-10-16 v2 计算机与社会
摘要
公平性指标是公平机器学习（FairML）文献中的核心工具，用于确定 ML 模型在某种意义上是“公平”的。然而，现实数据通常受到各种测量偏差和其他违反假设的影响，这些影响可能使公平性评估失去意义。我们将因果敏感性分析工具引入 FairML 语境，提供一个通用框架：（1）有效地容纳任何公平性指标和可以置于“无意识设置”中的偏差的组合；（2）允许研究人员调查偏差的组合，导致非线性敏感性；（3）启用灵活的编码 domain-specific 约束和假设。运用该框架，我们分析了最常见的奇偶指标在 14 个标准公平数据集上 3 种不同分类器的敏感性。我们的分析揭示了公平性评估对即使是小数据集偏差极其脆弱。我们表明，因果敏感性分析为衡量奇偶指标评估的 informative性提供了强大且必要的工具。我们的存储库可在 https://github.com/Jakefawkes/fragile_fair 查阅。
引用
@article{arxiv.2410.09600,
title = {The Fragility of Fairness: Causal Sensitivity Analysis for Fair Machine Learning},
author = {Jake Fawkes and Nic Fishman and Mel Andrews and Zachary C. Lipton},
journal= {arXiv preprint arXiv:2410.09600},
year = {2024}
}
备注
Published at Neurips 2024 in the Dataset and Benchmarks Track