精确公平:在不牺牲准确率的前提下提升个体公平性
机器学习
2022-12-01 v2 计算机与社会
摘要
准确率与个体公平性对于可信机器学习均至关重要,但二者常互不相容,提升一方往往不可避免地牺牲另一方,并伴随真实偏差或虚假公平的副作用。本文提出一种新的公平准则——精确公平(accurate fairness),以将个体公平与准确率对齐。直观而言,它要求对个体及其相似对应体的处理符合统一目标,即个体的真实标签。我们证明精确公平也意味着在若干相似子群体并集上满足典型的群体公平准则。随后,我们提出一种连体(Siamese)公平内处理方法来在精确公平约束下最小化机器学习模型的准确率损失与公平损失。据我们所知,这是连体方法首次被用于偏差缓解。我们还提出基于公平混淆矩阵的度量:公平精确率(fair-precision)、公平召回率(fair-recall)与公平 F1 分数(fair-F1 score),以量化准确率与个体公平之间的权衡。基于流行公平数据集的对比案例研究表明,相较于最先进的偏差缓解技术,我们的连体公平方法在个体公平性(以 awareness 公平性衡量)上平均高出 1.02%–8.78%,准确率平均高出 8.38%–13.69%,真实公平率(true fair rate)平均高出 10.09%–20.57%,公平 F1 分数平均高出 5.43%–10.01%。这表明我们的连体公平方法确实能够在不牺牲准确率的情况下改善个体公平性。最后,我们将精确公平准则与连体公平方法应用于缓解真实 Ctrip 数据集上可能的服务歧视,相较基线模型平均公平地多服务 112.33% 的客户(其中 81.29% 以精确公平方式服务)。
引用
@article{arxiv.2205.08704,
title = {Accurate Fairness: Improving Individual Fairness without Trading Accuracy},
author = {Xuran Li and Peng Wu and Jing Su},
journal= {arXiv preprint arXiv:2205.08704},
year = {2022}
}