深度学习中置信度校准的比较研究:从计算机视觉到医学影像
计算机视觉与模式识别
2022-06-20 v1
摘要
尽管深度学习预测模型在不同类别的判别上已取得成功,但它们在包括医疗在内的具有挑战性的领域中常面临校准不良的问题。此外,长尾分布给包括临床疾病预测在内的深度学习分类问题带来巨大挑战。近期已有一些方法被提出用于校准计算机视觉中的深度预测,但尚未见研究表明这些代表性模型在不同挑战性语境下表现如何。在本文中,我们通过四项高影响力校准模型的比较研究,将置信度校准从计算机视觉桥接到医学影像。我们的研究在不同语境下展开(自然图像分类与肺癌风险估计),包括平衡与非平衡训练集,以及计算机视觉与医学影像的对比。我们的结果支持了关键发现:(1) 我们得出了在不同学习语境下未被研究过的新结论,例如,组合两个均缓解过度自信预测的校准模型可能导致欠自信预测,且来自计算机视觉领域的较简单校准模型往往更具泛化到医学影像的能力。(2) 我们凸显了通用计算机视觉任务与医学影像预测之间的差距,例如,适用于通用计算机视觉任务的校准方法实际上可能损害医学影像预测的校准。(3) 我们也强化了自然图像分类设定下的先前结论。我们相信本研究有助于引导读者选择校准模型并理解通用计算机视觉与医学影像领域间的差距。
引用
@article{arxiv.2206.08833,
title = {A Comparative Study of Confidence Calibration in Deep Learning: From Computer Vision to Medical Imaging},
author = {Riqiang Gao and Thomas Li and Yucheng Tang and Zhoubing Xu and Michael Kammer and Sanja L. Antic and Kim Sandler and Fabien Moldonado and Thomas A. Lasko and Bennett Landman},
journal= {arXiv preprint arXiv:2206.08833},
year = {2022}
}
备注
17 pages, 6 figures