在CheXpert5000上对现代架构与正则化方法的综合研究
计算机视觉与模式识别
2023-02-15 v1 人工智能
摘要
作为有限数据应用的典型例子——在10万至20万标注数据集上进行实验,计算机辅助诊断(CAD)近年来在广大研究界获得了越来越多的关注。尽管这些数据集与自然图像数据集如ImageNet1k、ImageNet21k和JFT相比仍然较小,但对于标注医学数据集而言它们已属庞大,而后者中1k-10k标注样本更为常见。在低数据情形下,尚无关于应基于何种方法的基线。本工作通过提供一项关于有限标注(5k)医学图像分类的广泛研究来弥补这一空白。我们提出了一项将现代架构应用于CheXpert数据集上固定低数据情形(5000幅图像)的研究。我们最终发现,在ImageNet21k上预训练的模型取得了更高的AUC,且更大的模型需要更少的训练步数。所有模型都校准得相当好,尽管我们仅在5000个训练样本上进行了微调。所有“现代”架构的AUC均高于ResNet50。使用MixUp或Mean Teacher对Big Transfer模型进行正则化可改善校准,MixUp还提升了准确率。Vision Transformer取得了与Big Transfer模型相当或持平的结果。
引用
@article{arxiv.2302.06684,
title = {A Comprehensive Study of Modern Architectures and Regularization Approaches on CheXpert5000},
author = {Sontje Ihler and Felix Kuhnke and Svenja Spindeldreier},
journal= {arXiv preprint arXiv:2302.06684},
year = {2023}
}
备注
Accepted at MICCAI 2022