Self-Prompt SAM：通过自动提示SAM自适应实现医学图像分割
计算机视觉与模式识别
2025-02-04 v1
摘要
分割一切模型（SAM）展示了令人印象深刻的零样本性能，并为自然图像分割任务带来了一系列尚未探索的能力。然而，作为图像分割的一个非常重要的分支，由于自然图像与医学图像之间存在显著差异，SAM在应用于医学图像分割时的性能仍不确定。同时，满足SAM对提供额外提示（如指定医学区域的点或框）的要求也很苛刻。在本文中，我们提出了一种新颖的用于医学图像分割的自提示SAM自适应框架，名为Self-Prompt-SAM。我们设计了一个多尺度提示生成器，与SAM中的图像编码器结合以生成辅助掩码。然后，我们使用辅助掩码生成边界框作为框提示，并使用距离变换选择最中心的点作为点提示。同时，我们设计了一个3D深度融合适配器（DfusedAdapter），并将该DfusedAdapter注入图像编码器和掩码解码器的每个Transformer中，以使预训练的2D SAM模型能够提取3D信息并适应3D医学图像。大量实验表明，我们的方法达到了最先进的性能，在AMOS2022数据集上比nnUNet高出2.3%，在ACDC数据集上高出1.6%，在Synapse数据集上高出0.5%。
引用
@article{arxiv.2502.00630,
title = {Self-Prompt SAM: Medical Image Segmentation via Automatic Prompt SAM Adaptation},
author = {Bin Xie and Hao Tang and Dawen Cai and Yan Yan and Gady Agam},
journal= {arXiv preprint arXiv:2502.00630},
year = {2025}
}