从软分类器到硬决策：我们能做到多公平？
机器学习
2019-01-23 v2 计算机与社会
机器学习
摘要
在存在不完美信息的情况下构建二元决策分类器的一种流行方法是：首先构造一个在所有受保护群体上经过校准的非二元“评分”分类器，然后对该分数进行后处理以获得二元决策。我们研究了通过处理后校准分数来实现各种公平性属性的可行性，并表明延迟后处理器可使最终决策满足更多公平性条件。具体而言，我们表明：1. 不存在通用方法通过对校准分类器进行后处理来均衡受保护群体的正预测值或负预测值（PPV或NPV）。对于某些“良好”的校准分类器，当后处理器在不同受保护群体使用不同阈值时，可均衡PPV或NPV之一，但存在校准分数的分布使得两者无法同时均衡。当后处理对所有群体采用单一全局阈值时，即便对“良好”分类器，诸如以非平凡方式均衡PPV之类的自然公平性属性也不成立。2. 当允许后处理对某些决策“延迟”（即通过将部分样本交由独立流程处理来避免做决策）时，对于非延迟决策，所得分类器可做到在受保护群体间均衡PPV、NPV、假正率（FPR）与假负率（FNR）。这提出了一种部分规避Chouldechova与Kleinberg等人不可能性结果的方法，该结果排除了同时均衡所有这些度量的可能。我们还给出了不同的延迟策略，并展示它们如何影响整体系统的公平性属性。我们使用2016年的COMPAS数据集评估了我们的后处理技术。
引用
@article{arxiv.1810.02003,
title = {From Soft Classifiers to Hard Decisions: How fair can we be?},
author = {Ran Canetti and Aloni Cohen and Nishanth Dikkala and Govind Ramnarayan and Sarah Scheffler and Adam Smith},
journal= {arXiv preprint arXiv:1810.02003},
year = {2019}
}