WeakMedSAM：基于 SAM 的弱监督医学图像分割，通过子类探索与提示亲和力挖掘
计算机视觉与模式识别
2025-03-07 v1
摘要
我们已经见证了视觉任务中基础模型的显著进展。目前，几项近期工作利用分割一切模型(SAM)来提升医学图像中的分割性能，其中大多数专注于以完全监督的方式训练适配器来微调大量像素级标注的医学图像。在本文中，为了降低标注成本，我们研究了一种新型的弱监督SAM分割模型，即WeakMedSAM。具体而言，我们提出的WeakMedSAM包含两个模块：1)为了缓解医学图像中严重的共现问题，引入了一个子类探索模块来学习准确的特征表示。2)为了提高类激活图的质量，我们的提示亲和力挖掘模块利用SAM的提示能力来获取亲和力图以进行随机游走细化。我们的方法可以应用于任何SAM类骨干网络，我们在SAMUS和EfficientSAM上进行了实验。在三个常用基准数据集——即BraTS 2019、AbdomenCT-1K和MSD Cardiac数据集——上的实验结果展示了我们提出的WeakMedSAM的有前景的结果。我们的代码可在https://github.com/wanghr64/WeakMedSAM获取。
引用
@article{arxiv.2503.04106,
title = {WeakMedSAM: Weakly-Supervised Medical Image Segmentation via SAM with Sub-Class Exploration and Prompt Affinity Mining},
author = {Haoran Wang and Lian Huai and Wenbin Li and Lei Qi and Xingqun Jiang and Yinghuan Shi},
journal= {arXiv preprint arXiv:2503.04106},
year = {2025}
}