面向医学图像分割的全自动 SAM 单源域泛化
计算机视觉与模式识别
2025-07-24 v1
摘要
尽管基于 SAM 的单源域泛化医学图像分割模型可以在跨域场景中缓解域漂移对模型的影响，但这些模型仍面临两个主要挑战。首先，SAM 的分割高度依赖于域特定的专家标注提示，这会阻止 SAM 实现全自动医学图像分割，从而限制其在临床应用中的潜力。其次，向 SAM 提示编码器提供差坏的提示（例如过小或过大的边界框）会误导 SAM 生成错误的掩码结果。因此，我们提出了 FA-SAM，这是一个实现全自动 SAM 的单源域泛化医学图像分割框架。FA-SAM 引入了两个关键创新：一个配备浅层特征不确定性建模（SUFM）模块的 Auto-prompted Generation Model（AGM）分支，以及集成到 SAM 掩码解码器中的 Image-Prompt Embedding Fusion（IPEF）模块。具体而言，AGM 通过 SUFM 模型模拟浅层特征的不确定性分布，以生成目标域的边界框提示，从而实现 SAM 的全自动分割。IPEF 模块整合了 SAM 图像嵌入和提示嵌入的多尺度信息，以捕获目标对象的全局和局部细节，使 SAM 能够减轻差坏提示的影响。在公开可用的前列腺和视网膜血管数据集上进行的广泛实验验证了 FA-SAM 的有效性，并突显了其解决上述挑战的潜力。
引用
@article{arxiv.2507.17281,
title = {Fully Automated SAM for Single-source Domain Generalization in Medical Image Segmentation},
author = {Huanli Zhuo and Leilei Ma and Haifeng Zhao and Shiwei Zhou and Dengdi Sun and Yanping Fu},
journal= {arXiv preprint arXiv:2507.17281},
year = {2025}
}
备注
This manuscript has been accepted for presentation at the IEEE International Conference on Systems, Man, and Cybernetics (IEEE SMC 2025) and is copyrighted by IEEE