训练数据受限下的皮肤癌诊断自监督学习
图像与视频处理
2024-11-27 v3 计算机视觉与模式识别
机器学习
摘要
早期癌症检测对预后至关重要，但许多癌症类型缺乏开发深度学习模型所需的大型标注数据集。本文研究了在训练数据受限的场景下，使用深度学习模型（ResNet-50）将自监督学习（SSL）作为 ImageNet 上标准监督预训练的替代方案。我们首先证明，在使用训练样本受限的皮肤病变数据集时，在 ImageNet 上进行 SSL 预训练（通过 Barlow Twins SSL 算法）优于监督预训练（SL）。然后，我们考虑在任务特定数据集上对两个 ImageNet 预训练模型进行进一步的 SSL 预训练，其中我们的实现受监督迁移学习的启发。这种方法显著增强了最初经过 SL 预训练的模型，缩小了与最初经过 SSL 预训练模型的性能差距。令人惊讶的是，仅在有限的微调数据上进行进一步预训练就能实现这种性能等效。线性探针实验表明，这种改进源于特征提取的增强。因此，我们发现，对于标注数据受限的医学图像分类任务，在任务特定数据上进行少量的进一步 SSL 预训练可以与在 ImageNet 上进行大规模 SSL 预训练同样有效。我们在口腔癌组织病理学数据集上验证了这些结果，表明其在面临标注数据稀缺的医学成像领域具有更广泛的适用性。
引用
@article{arxiv.2401.00692,
title = {Self-supervised learning for skin cancer diagnosis with limited training data},
author = {Hamish Haggerty and Rohitash Chandra},
journal= {arXiv preprint arXiv:2401.00692},
year = {2024}
}