多类 ROC
机器学习
2024-04-23 v1 机器学习
统计方法学
摘要
模型评估在现代统计应用中至关重要。ROC的构建和AUC的计算已被广泛用于二分类评估。近期将ROC/AUC分析推广到多类分类的研究在以下四个领域中至少存在一个问题：1. 无法提供合理的图表 2. 对不平衡数据敏感 3. 无法指定误分类代价 4. 无法提供评估的不确定性量化。借鉴二项式矩阵分解模型，我们提供了一种评估指标，通过一维向量表示总结成对的多类真阳性率（TPR）和假阳性率（FPR）。该表示向量的可视化衡量了所有类别对之间TPR和FPR的相对增长速度，进而为多类对应物提供了ROC图。对这些分解向量进行积分，提供了关于分类器性能的二元AUC等效摘要。此外，还支持误分类权重设定和自助法置信区间，以适应各种评估标准。为了支持我们的发现，我们进行了广泛的模拟研究，并在基准数据集上将我们的方法与成对平均AUC统计量进行了比较。
引用
@article{arxiv.2404.13147,
title = {Multiclass ROC},
author = {Liang Wang and Luis Carvalho},
journal= {arXiv preprint arXiv:2404.13147},
year = {2024}
}