利用大规模无标签自然图像增强医学 AI 模型的网络初始化
图像与视频处理
2024-02-09 v5 计算机视觉与模式识别
机器学习
摘要
像 ImageNet 这样的预训练数据集已成为医学图像分析中的黄金标准。然而,自监督学习(SSL)的出现利用无标签数据学习鲁棒特征,提供了绕过密集标注过程的机会。本研究中,我们探索了在非医学图像上的 SSL 预训练是否可应用于胸部 X 光片,以及它相较于在非医学图像和医学图像上的有监督预训练表现如何。我们使用视觉 transformer 并基于以下方式初始化其权重:(i) 在自然图像上的 SSL 预训练(DINOv2),(ii) 在自然图像上的 SL 预训练(ImageNet 数据集),以及 (iii) 在来自 MIMIC-CXR 数据库的胸部 X 光片上的 SL 预训练。我们在来自六个大型全球数据集的超过 800,000 张胸部 X 光片上测试了我们的方法,诊断超过 20 种不同的影像表现。我们在精选图像上的 SSL 预训练不仅优于基于 ImageNet 的预训练(所有数据集 P<0.001),而且在某些情况下也超过了在 MIMIC-CXR 数据集上的 SL。我们的发现表明,选择合适的预训练策略,尤其是使用 SSL,对于提高人工智能(AI)在医学影像中的诊断准确性可能是关键。通过展示 SSL 在胸部 X 光片分析中的前景,我们强调了向更高效、更准确的医学影像 AI 模型转型的转变。
引用
@article{arxiv.2308.07688,
title = {Enhancing Network Initialization for Medical AI Models Using Large-Scale, Unlabeled Natural Images},
author = {Soroosh Tayebi Arasteh and Leo Misera and Jakob Nikolas Kather and Daniel Truhn and Sven Nebelung},
journal= {arXiv preprint arXiv:2308.07688},
year = {2024}
}
备注
Published in European Radiology Experimental