论基于人口统计均等的公平学习算法的归纳偏置
机器学习
2024-06-21 v2 人工智能
信息论
math.IT
摘要
在机器学习领域，那些分配标签时对敏感属性依赖性很小的公平监督学习算法引起了广泛关注。虽然人口统计均等(DP)概念常被用于衡量训练公平分类器时模型的公平性，但文献中的一些研究表明，在公平学习算法中强制执行DP可能会产生潜在影响。在这项工作中，我们分析研究了标准基于DP的正则化方法对给定敏感属性的预测标签条件分布的影响。我们的分析表明，一个具有非均匀敏感属性分布的不平衡训练数据集可能导致分类规则偏向于持有大部分训练数据的敏感属性结果。为了控制基于DP的公平学习中的这种归纳偏置，我们提出了一种基于敏感属性的分布鲁棒优化(SA-DRO)方法，该方法提高了对敏感属性边际分布的鲁棒性。最后，我们展示了将基于DP的学习方法应用于标准集中式和分布式学习问题的几个数值结果。实证结果支持了我们关于基于DP的公平学习算法中归纳偏置的理论结果，以及所提出的SA-DRO方法的去偏效果。
引用
@article{arxiv.2402.18129,
title = {On the Inductive Biases of Demographic Parity-based Fair Learning Algorithms},
author = {Haoyu Lei and Amin Gohari and Farzan Farnia},
journal= {arXiv preprint arXiv:2402.18129},
year = {2024}
}