论预测分析中正确的问题：AUC不是问题
机器学习
2024-04-11 v1
摘要
最近，ACM FAccT发表了Kwegyir-Aggrey及其同事（2023）的一篇文章，批评了在多个领域的预测分析中使用AUC ROC。在本文中，我们对那篇文章提出了批评。具体来说，我们指出了该论文在指标比较中的技术不准确性、对AUC ROC解释和目标的错误设定、该文章使用准确率指标作为与AUC ROC比较的黄金标准，以及该文章将批评仅应用于AUC ROC，而这些问题本应适用于任何指标的使用。最后，我们重新构建了该文章中提出的非常合理的关切，并讨论了在充分考虑这些关切的情况下，在信息充分的预测分析方法中，使用AUC ROC如何仍然是一种有效且适当的实践。最后，我们讨论了多个指标（包括机器学习偏差指标）的联合使用，以及AUC ROC在这种方法中的地位。像西兰花一样，AUC ROC是健康的，但也像西兰花一样，我们领域的研究人员和从业者不应该只吃AUC ROC。
引用
@article{arxiv.2404.06989,
title = {On Fixing the Right Problems in Predictive Analytics: AUC Is Not the Problem},
author = {Ryan S. Baker and Nigel Bosch and Stephen Hutt and Andres F. Zambrano and Alex J. Bowers},
journal= {arXiv preprint arXiv:2404.06989},
year = {2024}
}