医学影像中的基础模型:综合综述与未来展望
计算机视觉与模式识别
2023-10-31 v1
摘要
基础模型是大规模预训练的深度学习模型,可适配多种下游任务;随着这类模型的兴起,各类深度学习问题正经历范式转变,并近来引起广泛关注。基础模型在大规模数据集上训练以弥合不同模态间的鸿沟,在测试时提供上下文推理、泛化和提示能力。通过以称为提示的任务特定提示增强模型输入,这些模型的预测可针对新任务进行调整,而无需大量标注数据和重新训练。借助计算机视觉的进展,医学影像领域对这些模型也展现出日益增长的兴趣。为协助研究者把握这一方向,本综述旨在提供医学影像领域中基础模型的全面概览。具体地,我们首先阐述构成基础模型基础的基本概念。随后,我们对医学领域的基础模型进行系统性分类,提出主要以训练策略为主干、同时纳入应用域、成像模态、特定关注器官以及这些模型核心算法等额外维度的分类体系。此外,我们强调部分精选方法的实际用例,并进而讨论这些大规模预训练模型用于医学图像分析的机遇、应用与未来方向。同样,我们探讨医学影像基础模型所面临的现有挑战与研究路径,包括可解释性、数据管理、计算需求以及上下文理解的细微问题。
引用
@article{arxiv.2310.18689,
title = {Foundational Models in Medical Imaging: A Comprehensive Survey and Future Vision},
author = {Bobby Azad and Reza Azad and Sania Eskandari and Afshin Bozorgpour and Amirhossein Kazerouni and Islem Rekik and Dorit Merhof},
journal= {arXiv preprint arXiv:2310.18689},
year = {2023}
}
备注
The paper is currently in the process of being prepared for submission to MIA