利用蒙特卡洛 dropout 提升深度学习模型的可重复性
图像与视频处理
2022-02-16 v1 计算机视觉与模式识别
摘要
将人工智能整合进临床工作流需要可靠且稳健的模型。可重复性是模型稳健性的关键属性。可重复模型在相似条件下进行的独立测试中输出低变异性的预测。在模型开发与评估中，大量关注集中于分类性能，而模型可重复性很少被评估，导致开发出在临床实践中无法使用的模型。在本工作中，我们评估了四类模型（二分类、多分类、有序分类与回归）在对同一患者同次就诊所采集图像上的可重复性。我们研究了二分类、多分类、有序与回归模型在来自公开与私有数据集的四项医学图像分类任务上的性能：膝骨关节炎、宫颈癌筛查、乳腺密度估计与早产儿视网膜病变。在 ResNet 与 DenseNet 架构上测量并比较可重复性。此外，我们评估了测试时采样蒙特卡洛 dropout 预测对分类性能与可重复性的影响。利用蒙特卡洛预测显著提升了所有任务在二分类、多分类与有序模型上的可重复性，使 95% 一致性界限平均降低 16 个百分点、不一致率平均降低 7 个百分点。分类准确率在多数设定下随可重复性一同提升。我们的结果表明，超过约 20 次蒙特卡洛迭代后，可重复性不再有进一步增益。除更高的重测一致性外，蒙特卡洛预测校准更好，使得输出概率更准确地反映被正确分类的真实似然。
引用
@article{arxiv.2202.07562,
title = {Improving the repeatability of deep learning models with Monte Carlo dropout},
author = {Andreanne Lemay and Katharina Hoebel and Christopher P. Bridge and Brian Befano and Silvia De Sanjosé and Diden Egemen and Ana Cecilia Rodriguez and Mark Schiffman and John Peter Campbell and Jayashree Kalpathy-Cramer},
journal= {arXiv preprint arXiv:2202.07562},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2111.06754