面向医学影像的通用视觉基础模型：以 Segment Anything Model 零样本医学分割为例
计算机视觉与模式识别
2023-06-06 v2
摘要
本文中，我们考察了近期提出的 Segment Anything Model（SAM）在医学图像上的表现，并报告了在九个医学图像分割基准上的定量与定性零样本分割结果，涵盖光学相干断层扫描（OCT）、磁共振成像（MRI）与计算机断层扫描（CT）等多种成像模态，以及皮肤病学、眼科学与放射学等不同应用。这些基准在模型开发中具代表性且常用。实验结果表明，尽管 SAM 在通用域图像上展现出卓越的分割性能，其零样本分割能力对分布外图像（如医学图像）仍受限。此外，SAM 在不同未见医学域间的零样本分割表现不一致。对于某些结构化目标（如血管），SAM 的零样本分割完全失败。相比之下，使用少量数据对其简单微调即可显著提升分割质量，显示出利用微调后的 SAM 实现精准医学图像分割以支持精准诊断的巨大潜力与可行性。我们的研究揭示了通用视觉基础模型在医学影像上的通用性，以及通过微调达到预期性能并最终解决临床诊断中访问大规模多样化医学数据集相关挑战的巨大潜力。
引用
@article{arxiv.2304.12637,
title = {Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation},
author = {Peilun Shi and Jianing Qiu and Sai Mu Dalike Abaxi and Hao Wei and Frank P. -W. Lo and Wu Yuan},
journal= {arXiv preprint arXiv:2304.12637},
year = {2023}
}
备注
Published in Diagnostics