AUC的误用：高风险评估中广为流传的错误认知
计算机与社会
2023-05-30 v1
摘要
在判定哪个机器学习模型最能完成某项高风险评估任务时，从业者通常使用曲线下面积（Area under the Curve, AUC）来辩护并验证其模型选择。在本文中，我们认为当前将AUC作为模型性能指标的使用与理解，误解了该指标原本 intended 的使用方式。为此，我们刻画了AUC的误用，并说明这种误用如何在多个风险评估领域的现实世界中产生负面影响。我们将这一脱节归因于AUC的原始解释随时间发生了偏移，以至于涉及决策阈值、类别平衡、统计不确定性和受保护群体的问题在基于AUC的模型比较中仍未得到解决，且本应由政策制定者决定的模型选择被隐藏在数学严谨性的面纱之后。我们得出结论：当前涉及AUC的模型验证实践并不稳健，且往往无效。
引用
@article{arxiv.2305.18159,
title = {The Misuse of AUC: What High Impact Risk Assessment Gets Wrong},
author = {Kweku Kwegyir-Aggrey and Marissa Gerchick and Malika Mohan and Aaron Horowitz and Suresh Venkatasubramanian},
journal= {arXiv preprint arXiv:2305.18159},
year = {2023}
}