类别不平衡对胸部X光分类器的影响：面向判别与校准性能更佳的评估实践
计算机视觉与模式识别
2022-03-15 v2
摘要
本工作旨在分析研究界在评估胸部X光分类器时采用的标准评估实践，特别关注此类评估中类别不平衡的影响。我们的分析考虑了模型性能的全面定义，不仅涵盖判别性能，还包括模型校准——这是近年来机器学习界日益关注的研究课题。首先，我们进行了文献研究以分析常见科学实践，并确认：(1) 即使处理高度不平衡的数据集，学界倾向于使用受多数类主导的指标；以及 (2) 为胸部X光分类器纳入校准研究仍不常见，尽管其在医疗背景下十分重要。其次，我们在两个主要胸部X光数据集上进行系统实验，探究若干性能指标在不同类别比例下的行为，表明广泛采用的指标会掩盖少数类的性能。最后，我们建议补充指标以更好反映此类场景下的系统性能。我们的研究表明，研究界当前用于胸部X光计算机辅助诊断系统的评估实践可能无法反映其在真实临床场景中的性能，并提出了改善该状况的替代方案。
引用
@article{arxiv.2112.12843,
title = {Impact of class imbalance on chest x-ray classifiers: towards better evaluation practices for discrimination and calibration performance},
author = {Candelaria Mosquera and Luciana Ferrer and Diego Milone and Daniel Luna and Enzo Ferrante},
journal= {arXiv preprint arXiv:2112.12843},
year = {2022}
}
备注
Conference on Health, Inference, and Learning (CHIL) 2022 - Invited non-archival presentation