基于鲁棒框提示的 SAM 用于医学图像分割

Segment Anything Model（SAM）在高质量框提示下可实现令人满意的分割性能。然而，SAM 的鲁棒性会因框质量的下降而受损，从而限制了其在临床现实中的实用性。本研究提出了一种新型的鲁棒框提示 SAM（RoBox-SAM），以确保 SAM 在不同质量提示下的分割性能。我们的贡献有三方面。首先，我们提出了一种提示优化模块，可隐式感知潜在目标，并输出偏移量以直接将低质量框提示转换为高质量提示。我们进一步提供了一种在线迭代策略以实现进一步提示优化。其次，我们引入了一种提示增强模块，可自动生成点提示以有效辅助框提示分割。最后，我们构建了一个自信息提取器，用于编码输入图像的先验信息。这些特征可以优化图像嵌入和注意力计算，从而进一步增强 SAM 的鲁棒性。在包含 99,299 张图像、5 种模态和 25 个器官/目标的医学分割大规模数据集上的广泛实验验证了所提出的 RoBox-SAM 的有效性。