SAM2-SGP：通过支持集引导提示增强 SAM2 在医学图像分割中的性能
计算机视觉与模式识别
2025-06-25 v1
摘要
尽管新的视觉基础模型，如 Segment Anything Model 2（SAM2），显著提升了零样本图像分割能力，但依赖于人类提供的提示，在将 SAM2 应用于医学图像分割任务时提出了显著挑战。此外，由于 SAM2 原始是在自然图像和视频上训练的，因此其在医学图像分割方面的性能受到领域迁移问题的限制。为解决这些挑战，我们提出了 SAM2 with support-set guided prompting（SAM2-SGP），一个消除对手动提示需求的框架。该提议模型利用 SAM2 的记忆机制，通过来自支持集的图像-掩码对生成伪掩码。我们进一步引入了新颖的伪掩码注意力（PMA）模块，该模块利用这些伪掩码自动生成边界框，并通过引导注意力聚焦于相关区域来增强局部特征提取。此外，采用低秩适应 (LoRA) 策略来缓解领域迁移问题。该提议框架在 2D 和 3D 数据集上进行了评估，涵盖多个医学影像模态，包括视网膜摄影、X 光、CT、MRI、PET 和超声。结果显示，该方法在最先进的模型（如 nnUNet 和 SwinUNet）以及基础模型（如 SAM2 和 MedSAM2）方面实现了显著性能提升，凸显了该方法有效性。我们的代码已公开发布于 https://github.com/astlian9/SAM_Support。
引用
@article{arxiv.2506.19658,
title = {SAM2-SGP: Enhancing SAM2 for Medical Image Segmentation via Support-Set Guided Prompting},
author = {Yang Xing and Jiong Wu and Yuheng Bu and Kuang Gong},
journal= {arXiv preprint arXiv:2506.19658},
year = {2025}
}