深度 ROC 分析与作为平衡平均准确率的 AUC 以改进模型选择、理解与解释
统计方法学
2022-01-28 v1 人工智能
机器学习
机器学习
摘要
最优性能对于从医学到自动驾驶的决策任务至关重要，然而常用的性能度量可能过于笼统或过于具体。对于二分类器、诊断试验或时间点的预后，诸如受试者工作特征曲线下面积（AUC）或精确率—召回率曲线下面积等度量过于笼统，因为它们包含了不现实的决策阈值。另一方面，诸如准确率、灵敏度或 F1 分数等度量是在单一阈值下的指标，反映个体单一概率或预测风险，而非一系列个体或风险。我们提出一种介于两者之间的方法——深度 ROC 分析，它检验概率或预测风险的分组以获得更具洞察力的分析。我们将晦涩的度量转化为熟悉的术语：AUC 和归一化一致部分 AUC 是平衡平均准确率（一项新发现）；归一化部分 AUC 是平均灵敏度；归一化水平部分 AUC 是平均特异度。结合检测后度量，我们提供了一种在某些情形下改进模型选择的方法，并为各风险组中的患者提供解释与保证。我们在两个案例研究中演示了深度 ROC 分析，并提供了一个 Python 工具包。
引用
@article{arxiv.2103.11357,
title = {Deep ROC Analysis and AUC as Balanced Average Accuracy to Improve Model Selection, Understanding and Interpretation},
author = {André M. Carrington and Douglas G. Manuel and Paul W. Fieguth and Tim Ramsay and Venet Osmani and Bernhard Wernly and Carol Bennett and Steven Hawken and Matthew McInnes and Olivia Magwood and Yusuf Sheikh and Andreas Holzinger},
journal= {arXiv preprint arXiv:2103.11357},
year = {2022}
}
备注
14 pages, 6 Figures, submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), currently under review