DeSAM：用于可泛化医学图像分割的解耦 Segment Anything Model

基于深度学习的医学图像分割模型常受域偏移困扰，即在源域上训练的模型不能很好地泛化到其他未见域。作为具有强大泛化能力的提示驱动基础模型，Segment Anything Model (SAM) 展现出提升医学图像分割跨域鲁棒性的潜力。然而，SAM 在自动分割场景中的表现明显逊于人工提示时，阻碍了其直接应用于域泛化。经进一步调研，我们发现性能退化与不可避免的劣质提示和掩码生成之间的耦合效应有关。为应对该耦合效应，我们提出解耦 SAM (DeSAM)。DeSAM 通过引入两个新模块来修改 SAM 的掩码解码器：提示相关 IoU 模块 (PRIM) 和提示解耦掩码模块 (PDMM)。PRIM 预测 IoU 分数并生成掩码嵌入，而 PDMM 从图像编码器的中间层提取多尺度特征，并将其与来自 PRIM 的掩码嵌入融合以生成最终分割掩码。这种解耦设计使 DeSAM 能够利用预训练权重，同时将劣质提示导致的性能退化降至最低。我们在公开可用的跨站点前列腺和跨模态腹部图像分割数据集上进行了实验。结果表明，我们的 DeSAM 相比先前最先进的域泛化方法取得了大幅性能提升。代码已公开于 https://github.com/yifangao112/DeSAM。