公平性中心技术简报：AUC 差距
机器学习
2023-09-27 v2 计算机与社会
摘要
为衡量偏差，我们鼓励各团队考虑使用 AUC 差距（AUC Gap）：即各子群体（如性别、种族、社会经济地位、先验知识）测试 AUC 最高值与最低值之间的绝对差值。它独立于所采用的 AI/ML 算法，并能捕捉任意数量子群体间的模型性能差异，从而支持非二元公平性评估，例如针对交叉身份群体。各团队使用广泛的 AI/ML 模型，以在低收入中学中使数学学业成就翻番这一共同目标而努力。确保这些在多种不同情境下收集的数据集上训练的模型不引入或放大偏差，对实现该目标至关重要。我们在此为所有团队提供一种通用且易于计算的模型偏差度量，以建立通用基准，并为分享不同团队的有效策略提供分析基础。
引用
@article{arxiv.2309.12371,
title = {Fairness Hub Technical Briefs: AUC Gap},
author = {Jinsook Lee and Chris Brooks and Renzhe Yu and Rene Kizilcec},
journal= {arXiv preprint arXiv:2309.12371},
year = {2023}
}