ImageNet预训练深度学习模型与DINOv2在医学影像分类中的比较分析
图像与视频处理
2024-02-14 v2 机器学习
摘要
医学图像分析经常面临数据稀缺的挑战。迁移学习在解决这一问题的同时节省了计算资源。最近，像DINOv2这样使用视觉Transformer架构的基础模型的出现，为该领域开辟了新的机遇并引起了广泛关注。然而，DINOv2在临床数据上的性能仍有待验证。在本文中，我们使用三种临床模态的脑部MRI数据执行了胶质瘤分级任务。我们比较了各种预训练深度学习模型（包括基于ImageNet和DINOv2的模型）在迁移学习背景下的性能。我们重点关注冻结机制对性能的影响。我们还在其他三类公共数据集（胸部X光、眼底照相和皮肤镜）上验证了我们的发现。我们的结果表明，在我们的临床数据集中，DINOv2的性能不如基于ImageNet的预训练模型，而在公共数据集中，DINOv2通常优于其他模型，尤其是在使用冻结机制时。在不同任务中，不同大小的DINOv2模型观察到了相似的性能。总之，DINOv2可用于医学图像分类任务，特别是对于类似自然图像的数据。然而，其有效性可能因与自然图像（如MRI）显著不同的数据而有所变化。此外，使用较小版本的模型足以胜任医学任务，从而节省资源。我们的代码可在https://github.com/GuanghuiFU/medical_DINOv2_eval获取。
引用
@article{arxiv.2402.07595,
title = {Comparative Analysis of ImageNet Pre-Trained Deep Learning Models and DINOv2 in Medical Imaging Classification},
author = {Yuning Huang and Jingchen Zou and Lanxi Meng and Xin Yue and Qing Zhao and Jianqiang Li and Changwei Song and Gabriel Jimenez and Shaowu Li and Guanghui Fu},
journal= {arXiv preprint arXiv:2402.07595},
year = {2024}
}