Segment Anything 模型用于医学图像分析的实验研究
计算机视觉与模式识别
2023-08-09 v3 人工智能
机器学习
摘要
由于数据标注的有限可用性，训练医学图像分割模型仍然具有挑战性。Segment Anything Model (SAM) 是一种基础模型，旨在以交互方式分割用户定义的感兴趣对象。虽然在自然图像上的表现令人印象深刻，但医学图像领域带来了其自身的一系列挑战。在此，我们对 SAM 在来自不同模态和解剖结构的 19 个医学成像数据集上分割医学图像的能力进行了广泛评估。我们报告了以下发现：(1) SAM 基于单点提示的性能高度依赖于数据集和任务，从脊柱 MRI 的 IoU=0.1135 到髋部 X 光的 IoU=0.8650 不等。(2) 对于边界清晰、提示歧义较少的对象，分割性能似乎更好，而在包括脑肿瘤分割在内的多种其他场景中表现较差。(3) SAM 使用框提示的表现明显优于点提示。(4) SAM 在几乎所有单点提示设置下都优于同类方法 RITM、SimpleClick 和 FocalClick。(5) 当迭代提供多点提示时，SAM 的性能通常仅略有提升，而其他方法的性能提升到超越 SAM 基于点的性能的水平。我们还提供了若干说明，展示 SAM 在所有测试数据集上的性能、迭代分割以及给定提示歧义时 SAM 的行为。我们得出结论：SAM 在某些医学成像数据集上表现出令人印象深刻的零样本分割性能，但在其他数据集上表现中等至较差。SAM 有潜力在医学成像的自动化医学图像分割中产生重大影响，但在使用时需要适当谨慎。
引用
@article{arxiv.2304.10517,
title = {Segment Anything Model for Medical Image Analysis: an Experimental Study},
author = {Maciej A. Mazurowski and Haoyu Dong and Hanxue Gu and Jichen Yang and Nicholas Konz and Yixin Zhang},
journal= {arXiv preprint arXiv:2304.10517},
year = {2023}
}
备注
Link to our code: https://github.com/mazurowski-lab/segment-anything-medical-evaluation