通过微调自然领域基础模型推进医学图像分类
图像与视频处理
2025-05-27 v1 计算机视觉与模式识别
机器学习
摘要
基础模型是利用海量数据集训练的大规模预训练模型，能够执行广泛的任务。随着新方法的引入，这些模型显示出持续改进的结果。分析这些趋势如何影响医学领域并确定这些进步是否能推动有意义的变革至关重要。本研究调查了近期最先进的基础模型——DINOv2、MAE、VMamba、CoCa、SAM2 和 AIMv2——在医学图像分类中的应用。我们在包括用于乳腺 X 光检查的 CBIS-DDSM、用于皮肤病变的 ISIC2019、用于糖尿病视网膜病变的 APTOS2019 和用于胸部 X 光片的 CHEXPERT 等数据集上探索了它们的有效性。通过微调这些模型并评估其配置，我们旨在了解这些进步在医学图像分类中的潜力。结果表明，这些先进的模型显著增强了分类结果，在标记数据有限的情况下仍表现出稳健的性能。根据我们的结果，AIMv2、DINOv2 和 SAM2 模型优于其他模型，这表明自然领域训练的进展对医学领域产生了积极影响并改善了分类结果。我们的代码公开于：https://github.com/sajjad-sh33/Medical-Transfer-Learning。
引用
@article{arxiv.2505.19779,
title = {Advancements in Medical Image Classification through Fine-Tuning Natural Domain Foundation Models},
author = {Mobina Mansoori and Sajjad Shahabodini and Farnoush Bayatmakou and Jamshid Abouei and Konstantinos N. Plataniotis and Arash Mohammadi},
journal= {arXiv preprint arXiv:2505.19779},
year = {2025}
}