SAM 2 自动提示细化：增强体积医学图像分割的 RFMedSAM
计算机视觉与模式识别
2025-02-06 v1
摘要
Segment Anything Model 2 (SAM 2) 是一种支持图像和视频领域的提示驱动基础模型，相较于其前身在 zero-shot 性能方面表现卓越。基于 SAM 在医学图像分割中的成功，SAM 2 具有显著的进一步提升潜力。然而，类似 SAM，SAM 2 受限于输出二值掩码、无法推断语义标签，以及对目标对象区域精确提示的依赖。此外，将 SAM 和 SAM 2 直接应用于医学图像分割任务会得到次优结果。本文探索了 SAM 2 的上限性能，通过自定义 fine-tuning 适配器实现在 BTCV 数据集上达到 92.30% 的 Dice 系数 (DSC)，超越最新 nnUNet 12%。随后，我们解决了提示依赖问题，通过研究各种提示生成器。我们引入一个 UNet 自动生成预测掩码和边界框作为 SAM 2 的输入。随后，SAM 2 的双阶段细化进一步提升了性能。广泛的实验表明，我们的方法在 AMOS2022 数据集上实现最新结果，Dice 提升比 nnUNet 高出 2.9%，在 BTCV 数据集上超越 nnUNet 6.4%。
引用
@article{arxiv.2502.02741,
title = {RFMedSAM 2: Automatic Prompt Refinement for Enhanced Volumetric Medical Image Segmentation with SAM 2},
author = {Bin Xie and Hao Tang and Yan Yan and Gady Agam},
journal= {arXiv preprint arXiv:2502.02741},
year = {2025}
}