SAM-Med2D
计算机视觉与模式识别
2023-08-31 v1
摘要
Segment Anything Model（SAM）代表了自然图像分割领域最先进的研究进展，在使用点和边界框等输入提示时取得了令人印象深刻的成果。然而，我们的评估和近期研究表明，直接将预训练的 SAM 应用于医学图像分割并不能产生令人满意的性能。这一局限主要源于自然图像与医学图像之间的显著领域鸿沟。为弥补这一鸿沟，我们引入了 SAM-Med2D，这是将 SAM 应用于医学二维图像最全面的研究。具体而言，我们首先从公开和私有数据集中收集并整理约 460 万张图像和 1970 万个掩码，构建了涵盖多种模态和对象的大规模医学图像分割数据集。然后，我们在该数据集上对 SAM 进行全面微调，将其转化为 SAM-Med2D。与以往仅采用边界框或点提示作为交互式分割方法不同，我们通过涉及边界框、点和掩码的更全面的提示将 SAM 适配到医学图像分割。我们还额外微调了原始 SAM 的编码器和解码器以获得性能良好的 SAM-Med2D，从而形成了迄今为止最全面的微调策略。最后，我们进行了综合评估与分析，以探究 SAM-Med2D 在多种模态、解剖结构和器官上的医学图像分割性能。同时，我们在来自 MICCAI 2023 挑战赛的 9 个数据集上验证了 SAM-Med2D 的泛化能力。总体而言，与 SAM 相比，我们的方法展现出显著更优的性能和泛化能力。
引用
@article{arxiv.2308.16184,
title = {SAM-Med2D},
author = {Junlong Cheng and Jin Ye and Zhongying Deng and Jianpin Chen and Tianbin Li and Haoyu Wang and Yanzhou Su and Ziyan Huang and Jilong Chen and Lei Jiang and Hui Sun and Junjun He and Shaoting Zhang and Min Zhu and Yu Qiao},
journal= {arXiv preprint arXiv:2308.16184},
year = {2023}
}