迈向公平性前沿及更远处：识别、量化并优化公平-精度帕累托前沿
机器学习
2022-06-02 v1 计算机与社会
机器学习
统计方法学
摘要
在使用机器学习进行高风险社会决策时，算法公平性已成为一个重要考量。然而，公平性的提升往往以模型精度为代价。尽管公平-精度权衡的某些方面已被研究，多数工作分别报告各类模型的公平性与精度；若无反映这两项诉求平衡的模型无关度量，模型比较几乎不可能。我们旨在识别、量化并优化公平-精度权衡的经验帕累托前沿。具体而言，我们通过公平-精度权衡（TAF）曲线识别并刻画经验帕累托前沿；随后我们发展了一种通过 TAF 曲线下加权面积来量化该帕累托前沿的度量，称之为公平性曲线下面积（FAUC）。TAF 曲线提供了首个经验性、模型无关的帕累托前沿刻画，而 FAUC 提供了首个在公平性与精度上公正比较模型族的度量。TAF 曲线与 FAUC 均可与所有群体公平定义及精度度量配合使用。接下来我们问：能否拓展经验帕累托前沿从而改善给定拟合模型集合的 FAUC？我们给出肯定回答，并提出了一种新颖的公平模型堆叠框架 FairStacks，其通过求解凸规划在分数偏差约束下最大化集成模型的精度。我们证明使用 FairStacks 优化总能拓展经验帕累托前沿并改善 FAUC；我们还研究了所提方法的其他理论性质。最后，我们在多个真实基准数据集上通过实验验证 TAF、FAUC 与 FairStacks，表明 FairStacks 带来的 FAUC 大幅改善优于现有算法公平方法。
引用
@article{arxiv.2206.00074,
title = {To the Fairness Frontier and Beyond: Identifying, Quantifying, and Optimizing the Fairness-Accuracy Pareto Frontier},
author = {Camille Olivia Little and Michael Weylandt and Genevera I Allen},
journal= {arXiv preprint arXiv:2206.00074},
year = {2022}
}