弃用 $\Delta$DP：面向人口均等的新型分布级度量
机器学习
2023-06-13 v3 人工智能
计算机与社会
摘要
人口均等（demographic parity）是机器学习中公认度最广的群体公平性度量，其确保不同人口群体受到平等对待。大量工作以常用的度量 为目标来实现人口均等。遗憾的是，本文揭示公平性度量 无法精确衡量人口均等的违反程度，因其固有如下缺陷：i) 零值 不能保证零违反人口均等；ii) 值随不同分类阈值而变化。为此，我们提出两种新公平性度量——概率密度函数曲线下面积（ABPC）与累积密度函数曲线下面积（ABCC），以在分布级精确度量人口均等的违反程度。新公平性度量直接衡量不同人口群体预测概率分布之间的差异。因而我们提出的新度量具有：i) 零值 ABCC/ABPC 保证零违反人口均等；ii) 在调整分类阈值时 ABCC/ABPC 保证人口均等。我们进一步用所提公平性度量重新评估现有公平模型，并观察到这些模型在新度量下不同的公平性表现。代码见 https://github.com/ahxt/new_metric_for_demographic_parity
引用
@article{arxiv.2301.13443,
title = {Retiring $\Delta$DP: New Distribution-Level Metrics for Demographic Parity},
author = {Xiaotian Han and Zhimeng Jiang and Hongye Jin and Zirui Liu and Na Zou and Qifan Wang and Xia Hu},
journal= {arXiv preprint arXiv:2301.13443},
year = {2023}
}
备注
Accepted by TMLR. Code available at https://github.com/ahxt/new_metric_for_demographic_parity