ROC在不平衡数据上的局限性：LVAD死亡风险评分的评估
定量方法
2022-04-21 v1 机器学习
摘要
目的：本研究阐明了在评估两个90天LVAD死亡率分类器时ROC的模糊性。本文还引入了精确率-召回率曲线（PRC）作为一种补充指标，其更能代表LVAD分类器在预测少数类时的性能。背景：在LVAD领域，受试者工作特征（ROC）是常用的分类器性能度量。然而，由于存活患者比例压倒性占优（即不平衡数据），ROC可能扭曲分类器预测短期死亡率的能力。方法：本研究比较了INTERMACS中记录的800名患者（测试组，2006至2016年间接受连续血流LVAD，平均年龄59岁；146名女性 vs. 654名男性，90天死亡率仅8%（不平衡数据））的90天LVAD死亡率两个分类器结果的ROC与PRC。两个分类器分别为HeartMate风险评分（HMRS）与随机森林（RF）。结果：ROC显示RF与HMRS分类器性能尚可，曲线下面积（AUC）分别为0.77与0.63；而其PRC的AUC分别为0.43（RF）与0.16（HMRS）。HMRS的PRC显示精确率随灵敏度略微上升而迅速跌至仅10%。结论：当应用于不平衡数据时，ROC会描绘出分类器或风险评分过于乐观的性能。PRC通过关注少数类，提供了关于分类器性能的更好洞察。
引用
@article{arxiv.2010.16253,
title = {Limitations of ROC on Imbalanced Data: Evaluation of LVAD Mortality Risk Scores},
author = {Faezeh Movahedi and Rema Padman and James F. Antaki},
journal= {arXiv preprint arXiv:2010.16253},
year = {2022}
}
备注
Submitted to JACC Heart Failure