一种用于评估交叉子组模型性能的结构化回归方法
机器学习
2024-05-15 v2 计算机与社会
应用统计
机器学习
摘要
分类评估是AI公平性评估中的一项核心任务，其目标是衡量AI系统在由人口统计或其他敏感属性组合定义的不同子组上的性能。标准方法是将评估数据按子组分层，并分别计算每个组的性能指标。然而，即使对于中等规模的评估数据集，一旦考虑交叉子组，样本量也会迅速变小，这极大地限制了交叉组被纳入分析的程度。在这项工作中，我们引入了一种用于分类评估的结构化回归方法，我们证明该方法即使在非常小的子组上也能产生可靠的系统性能估计。我们提供了相应的推断策略来构建置信区间，并探讨了拟合优度检验如何能够揭示交叉群体所经历的公平性相关危害的结构。我们在两个公开可用的数据集以及几种半合成数据的变体上评估了我们的方法。结果表明，我们的方法比标准方法准确得多，尤其对于小子组，并且展示了拟合优度检验如何帮助识别驱动性能差异的关键因素。
引用
@article{arxiv.2401.14893,
title = {A structured regression approach for evaluating model performance across intersectional subgroups},
author = {Christine Herlihy and Kimberly Truong and Alexandra Chouldechova and Miroslav Dudik},
journal= {arXiv preprint arXiv:2401.14893},
year = {2024}
}