基于医学先验引导的 PG-SAM：用于多器官分割
计算机视觉与模式识别
2025-03-27 v3 人工智能
摘要
分段 Anything 模型（SAM）展示了强大的零样学习能力；然而，在应用于医学图像分割时，其准确性和鲁棒性显著下降。现有方法通过模态融合来解决此问题，将文本和图像信息整合以提供更详细的先验信息。本研究认为，文本粒度和领域差距会影响先验的准确性。此外，图像中高层抽象语义与像素级边界细节之间的差异可能在融合过程中引入噪声。为此，我们提出了先验引导的 SAM（PG-SAM），其采用细粒度模态先验对齐器以利用专门的医学知识实现更好的模态对齐。我们的方法核心在于通过医学大语言模型获取的细粒度文本，高效地解决领域差距。同时，它还增强了模态对齐后的先验质量，确保更精确的分割。此外，我们的解码器通过多层特征融合和迭代掩码优化器操作来增强模型的表达能力，支持无提示学习。我们还提出了一个统一的管道，有效地为 SAM 提供高质量的语义信息。在 Synapse 数据集上的大量实验表明，所提出的 PG-SAM 已实现最先进的性能。我们的代码已发布于 https://github.com/logan-0623/PG-SAM。
关键词
引用
@article{arxiv.2503.18227,
title = {PG-SAM: Prior-Guided SAM with Medical for Multi-organ Segmentation},
author = {Yiheng Zhong and Zihong Luo and Chengzhi Liu and Feilong Tang and Zelin Peng and Ming Hu and Yingzhen Hu and Jionglong Su and Zongyuan Ge and Imran Razzak},
journal= {arXiv preprint arXiv:2503.18227},
year = {2025}
}