医学图像分析中的视觉基础模型：进展与挑战
图像与视频处理
2025-02-24 v2 计算机视觉与模式识别
摘要
视觉基础模型（VFMs），特别是视觉转换器（ViT）和分割任何模型（SAM），的快速发展，推动了医学图像分析领域的显著进展。这些模型在捕捉长程依赖方面展现了卓越的能力，并在分割任务中实现了高水平的泛化。然而，将这些大型模型适应到医学图像分析领域仍面临若干挑战，包括医学图像与自然图像之间的领域差异、需要高效模型适应策略，以及小规模医学数据集的局限性。本文综述了将 VFMs 应用于医学图像分割的最新研究进展，重点关注领域适应、模型压缩和联邦学习的挑战。我们讨论了基于适配器的改进、知识蒸馏技术以及多尺度上下文特征建模的最新进展，提出了未来方向以克服这些瓶颈。我们的分析表明，VFMs 以及新兴方法如联邦学习和模型压缩，有潜力彻底变革医学图像分析，增强临床应用。本文旨在提供当前方法的全面概述，并建议下一波创新在医学图像分割中可能的关键研究方向。
引用
@article{arxiv.2502.14584,
title = {Vision Foundation Models in Medical Image Analysis: Advances and Challenges},
author = {Pengchen Liang and Bin Pu and Haishan Huang and Yiwei Li and Hualiang Wang and Weibo Ma and Qing Chang},
journal= {arXiv preprint arXiv:2502.14584},
year = {2025}
}
备注
17 pages, 1 figure