算法偏置评估的 ABROCA 分布：解释考量
机器学习
2024-12-02 v1 机器学习
摘要
算法偏置持续是学习分析中的关键关注议题。我们研究了绝对 ROC 区域差(Absolute Between-ROC Area, ABROCA) 指标的统计性质。该公平性度量通过量化分类器性能在各组之间的绝对差异来衡量。ABROCA 在整体 ROC 曲线下面积(Area Under the ROC Curve, AUC) 值相似时尤其有用，用于检测细微的性能差异。我们在包括变更 AUC 差异和类别分布等 various conditions 下对 ABROCA 进行抽样。我们发现 ABROCA 分布在样本大小、AUC 差异和类别不平衡程度依赖下表现为高度偏斜。当用于评估分类器是否存在偏置时，这种偏斜会以机会方式使 ABROCA 值被高估，即使数据是从具有等效 ROC 曲线的population 中抽样的。这些发现表明，ABROCA 在评估偏置程度以及类别不平衡时需要谨慎解释。
引用
@article{arxiv.2411.19090,
title = {ABROCA Distributions For Algorithmic Bias Assessment: Considerations Around Interpretation},
author = {Conrad Borchers and Ryan S. Baker},
journal= {arXiv preprint arXiv:2411.19090},
year = {2024}
}
备注
Accepted to Learning Analytics and Knowledge (LAK 2025)