存在有偏噪声标签下的公平性评估
统计方法学
2020-04-01 v1 计算机与社会
摘要
风险评估工具在全国各地被广泛用于为刑事司法系统中的决策提供信息。近来，大量关注集中于此类工具是否可能存在种族偏见的问题。在此类评估中，一个基本问题是模型的训练与评估基于一个变量（逮捕），其可能代表更核心关注的未观测结果（犯罪）的噪声版本。我们提出一个敏感性分析框架，用于评估关于各组间噪声的假设如何影响风险评估模型作为再犯预测器的预测偏倚性质。我们在两个真实世界刑事司法数据集上的实验结果表明，即便观测标签中微小的偏倚也可能质疑基于噪声结果的分析所得结论。
引用
@article{arxiv.2003.13808,
title = {Fairness Evaluation in Presence of Biased Noisy Labels},
author = {Riccardo Fogliato and Max G'Sell and Alexandra Chouldechova},
journal= {arXiv preprint arXiv:2003.13808},
year = {2020}
}
备注
Accepted at International Conference on Artificial Intelligence and Statistics (AISTATS), 2020