曲线下面积在二分类评估中具有最一致的评估表现
机器学习
2024-12-17 v2 机器学习
摘要
正确使用模型评估指标对于二分类任务中的模型评估和模型选择至关重要。本研究调查了在保持变量间关系和样本量不变的情况下，不同指标在评估不同患病率数据上的模型时的一致性。通过分析156种数据场景、18种模型评估指标以及五种常用机器学习模型和一种朴素随机猜测模型，我发现受患病率影响较小的评估指标对单个模型的评估更一致，对一组模型的排序也更一致。特别是，曲线下面积（AUC）在评估模型时考虑了所有决策阈值，在评估单个模型时具有最小的方差，在对一组模型进行排序时也具有最小的方差。通过使用所有指标的所有可能阈值进行的接近阈值分析进一步支持了以下假设：考虑所有决策阈值有助于减少模型评估在数据患病率变化时的方差。这些结果对二分类任务中的模型评估和模型选择具有重大意义。
引用
@article{arxiv.2408.10193,
title = {Area under the ROC Curve has the Most Consistent Evaluation for Binary Classification},
author = {Jing Li},
journal= {arXiv preprint arXiv:2408.10193},
year = {2024}
}