面向二维医学图像分割的自监督预训练
计算机视觉与模式识别
2022-09-02 v1 机器学习
摘要
监督式机器学习为广泛的计算机视觉问题提供了最先进的解决方案。然而，对大量标注训练数据的需求限制了这些算法在标注输入稀缺或昂贵场景下的能力。自监督学习（self-supervised learning）提供了一种通过在无标注数据上针对特定领域预训练模型来降低对人工标注数据需求的方法。在该方法中，标注数据仅用于下游任务的模型微调。医学图像分割是一个需要专家知识来标注数据且收集大型标注数据集颇具挑战的领域；因此，自监督学习算法有望在该领域带来实质性改进。尽管如此，自监督学习算法很少被用于预训练医学图像分割网络。本文中，我们阐述并分析了监督与自监督预训练方法在下游医学图像分割上的有效性，重点关注收敛性与数据效率。我们发现，在自然图像和目标领域特定图像上的自监督预训练带来了最快且最稳定的下游收敛。在 ACDC 心脏分割数据集上的实验中，该预训练方法相比 ImageNet 预训练模型实现了 4-5 倍的更快微调收敛。我们还表明，该方法仅需少于五个轮次（epoch）的领域特定数据预训练即可在下游收敛时间上取得此类改进。最后，我们发现，在低数据场景下，监督式 ImageNet 预训练取得了最佳精度，仅需少于 100 个标注样本即可达到接近最小误差。
引用
@article{arxiv.2209.00314,
title = {Self-Supervised Pretraining for 2D Medical Image Segmentation},
author = {András Kalapos and Bálint Gyires-Tóth},
journal= {arXiv preprint arXiv:2209.00314},
year = {2022}
}
备注
Submitted manuscript accepted for the Workshop on AI-enabled Medical Image Analysis at ECCV 2022