机器学习中丰富子群公平性的实证研究
机器学习
2018-08-27 v1 机器学习
摘要
Kearns 等人 [2018] 最近提出了一种丰富子群公平性（rich subgroup fairness）的概念，旨在弥合统计公平性与个体公平性概念之间的差距。丰富子群公平性选取一个统计公平性约束（例如，在不同受保护群体间均衡假阳性率），但随后要求该约束在由具有有界 VC 维的函数类所定义的指数级或无限大数量的子群上成立。他们给出了一种算法，在保证能够访问无公平性约束下完美学习的预言机之条件下，可保证学习出满足该约束的模型。在本文中，我们对 Kearns 等人的算法进行了广泛的实证评估。在四个关注公平性的真实数据集上，我们研究了当以快速启发式方法替代学习预言机时算法的基本收敛性，度量了公平性与准确性之间的权衡，并将该方法与 Agarwal 等人 [2018] 近期提出的算法进行比较，后者实现了由个体受保护属性定义的较弱且更传统的边际公平性约束。我们发现，总体而言，Kearns 等人的算法收敛迅速，可在准确性轻微代价下获得公平性的大幅提升，且仅受边际公平性约束优化准确性会导致具有显著子群不公平性的分类器。我们还提供了对 Kearns 等人算法动态与行为的若干分析与可视化。总体而言，我们发现该算法在真实数据上有效，且丰富子群公平性在实践中是一种可行的概念。
引用
@article{arxiv.1808.08166,
title = {An Empirical Study of Rich Subgroup Fairness for Machine Learning},
author = {Michael Kearns and Seth Neel and Aaron Roth and Zhiwei Steven Wu},
journal= {arXiv preprint arXiv:1808.08166},
year = {2018}
}