COMPAS 数据集中不同群体间的可靠性差异
计算机与社会
2023-08-30 v1 机器学习
摘要
本文研究风险评估工具（RAIs）的评分者间可靠性。核心问题是：不同的、具有社会显著性特征的群体是否因 RAI 评分者间可靠性的缺失而受到不同影响，即针对不同群体的错误是否对其产生不同影响。该问题通过对 COMPAS 数据集的模拟研究加以考察。我们向预测模型的输入数据中注入受控程度的噪声；该噪声可解释为一个会犯错的合成评分者。主要发现是，COMPAS 数据集中不同群体间的输出可靠性存在系统性差异。差异的方向取决于所使用的评分者间统计量类型（Cohen's Kappa、Byrt's PABAK、ICC），尤其取决于是否对群体预测的流行度进行了校正。
引用
@article{arxiv.2308.15243,
title = {Reliability Gaps Between Groups in COMPAS Dataset},
author = {Tim Räz},
journal= {arXiv preprint arXiv:2308.15243},
year = {2023}
}
备注
15 pages + appendix