来自偏见数据的公平机器学习中的残差不公平性

机器学习公平性近期工作提出通过均衡各组精度指标来调整公平性，并研究了受历史偏见影响的数据集如何导致不公平决策策略。我们连接这两条工作线，研究当公平性调整预测器因现有偏见策略对训练数据的系统性审查而在目标群体上实际并不公平时所产生的残差不公平性。该场景在公平性受关注的同类应用中尤为常见。我们从理论上刻画了此类审查对二分类器标准公平性指标的影响，并给出残差不公平性可能出现或不出现的判据。我们证明，在特定条件下，公平性调整分类器实际上会诱发残差不公平性，延续最初偏见数据所针对的同一群体、同一不公正，从而表明即便最先进的公平机器学习也可能具有“偏见进，偏见出”的特性。当某些基准数据可用时，我们展示样本重加权如何估计并调整公平性指标，同时考虑审查。我们用此研究拦截、盘问与搜身(SQF)案例，并证明试图调整公平性反而延续了该政策臭名昭著的不公正。