SEG-SAM：用于统一医学图像分割的语义引导 SAM

近年来，开发统一的医学图像分割模型日益受到关注，尤其是随着 Segment Anything Model（SAM）的出现。SAM 在自然领域展现了出色的二值分割性能，然而将其迁移至医学领域仍具挑战，因为医学图像通常存在显著的类间重叠。为解决此问题，我们提出了语义引导的 SAM（SEG-SAM），这是一种融合语义医学知识以增强医学分割性能的统一医学分割模型。首先，为避免二值预测与语义预测间的潜在冲突，我们引入了一个独立于 SAM 原始解码器的语义感知解码器，专用于对提示对象进行语义分割以及对图像中未提示对象进行分类。为进一步增强模型的语义理解能力，我们从大型语言模型中获取医学类别的关键特征，并通过文本到视觉的语义模块将其融入 SEG-SAM，将语言信息自适应地迁移至视觉分割任务。最后，我们引入跨掩码空间对齐策略，以鼓励 SEG-SAM 两个解码器预测的掩码间有更大重叠，从而使两种预测均受益。大量实验表明，SEG-SAM 在统一二值医学分割中优于基于 SAM 的最先进方法，并在语义医学分割中优于特定任务方法，展示了其在更广泛医学应用中的良好效果与潜力。