多受保护属性下的公平性提升:我们进展几何?
机器学习
2024-04-05 v3 人工智能
计算机与社会
软件工程
摘要
现有研究大多一次仅针对单一受保护属性提升机器学习(ML)软件的公平性,但考虑到许多用户具有多个受保护属性,这种做法并不现实。本文对多受保护属性下的公平性提升进行了广泛研究,涵盖了11种最先进的公平性提升方法。我们分析了这些方法在考虑多受保护属性时,于不同数据集、度量和ML模型上的有效性。结果表明,提升单一受保护属性的公平性会大幅降低未考虑受保护属性的公平性。这种下降在多达88.3%的场景中出现(平均57.5%)。更令人惊讶的是,我们发现考虑单一与多受保护属性时准确率损失差异很小,表明在多属性范式下准确率可得以保持。然而,处理两个受保护属性时对F1-score的影响约为单一属性的两倍。这对未来的公平性研究有重要启示:目前文献中常见的仅以准确率作为ML性能度量是不充分的。
引用
@article{arxiv.2308.01923,
title = {Fairness Improvement with Multiple Protected Attributes: How Far Are We?},
author = {Zhenpeng Chen and Jie M. Zhang and Federica Sarro and Mark Harman},
journal= {arXiv preprint arXiv:2308.01923},
year = {2024}
}
备注
Accepted by the 46th International Conference on Software Engineering (ICSE 2024). Please include ICSE in any citations