Segment Anything Model 用于医学图像?
图像与视频处理
2024-01-18 v7 计算机视觉与模式识别
机器学习
摘要
Segment Anything Model (SAM) 是首个用于通用图像分割的基础模型。它在多种自然图像分割任务上取得了令人印象深刻的成果。然而,医学图像分割 (MIS) 因复杂的模态、精细的解剖结构、不确定且复杂的物体边界以及大范围物体尺度而更具挑战性。为充分验证 SAM 在医学数据上的性能,我们收集整理了 53 个开源数据集,构建了一个具有 18 种模态、84 个物体、125 个物体-模态配对目标、1050K 张 2D 图像和 6033K 个掩码的大型医学分割数据集。我们在所谓的 COSMOS 1050K 数据集上全面分析了不同模型与策略。我们的发现主要包括:1) SAM 在某些特定物体上表现卓越,但在其他情况下不稳定、不完善甚至完全失败。2) 采用大型 ViT-H 的 SAM 整体表现优于采用小型 ViT-B 的 SAM。3) SAM 在人工提示(尤其是框)下比 Everything 模式表现更好。4) SAM 能以高标注质量和更短时间辅助人工标注。5) SAM 对中心点及紧框提示中的随机性敏感,可能出现严重性能下降。6) SAM 在一点或少数点下优于交互式方法,但随着点数增加会被反超。7) SAM 的性能与边界复杂度、强度差异等不同因素相关。8) 在特定医学任务上微调 SAM 可使其平均 DICE 性能分别提升 ViT-B 的 4.39% 和 ViT-H 的 6.68%。我们希望这份全面报告能帮助研究者探索 SAM 在 MIS 中的应用潜力,并指导如何恰当使用与开发 SAM。
引用
@article{arxiv.2304.14660,
title = {Segment Anything Model for Medical Images?},
author = {Yuhao Huang and Xin Yang and Lian Liu and Han Zhou and Ao Chang and Xinrui Zhou and Rusi Chen and Junxuan Yu and Jiongquan Chen and Chaoyu Chen and Sijing Liu and Haozhe Chi and Xindi Hu and Kejuan Yue and Lei Li and Vicente Grau and Deng-Ping Fan and Fajin Dong and Dong Ni},
journal= {arXiv preprint arXiv:2304.14660},
year = {2024}
}
备注
Accepted by Medical Image Analysis. 23 pages, 18 figures, 8 tables