面向医学图像的 SAM 少样本微调解剖分割

我们提出一种直截而当且高效的少样本微调策略，用于将 Segment Anything (SAM) 模型适配医学图像中的解剖分割任务。我们新颖的方法围绕重新构建 SAM 的掩码解码器展开，利用来自有限标注图像集（少样本集合）中获得的少样本嵌入，作为查询图像嵌入中捕获的解剖对象的提示。这种创新的重构显著减少了对对体积医学图像进行标记所需的在线用户交互频率，标记方式需逐层标注大量点和边界框以提供提示。在我们的方法下，用户可离线手动分割少数 2D 切片，标注图像区域的嵌入作为在线分割任务的有效提示。我们的方法通过仅训练掩码解码器（利用缓存机制）来优先考虑微调过程的效率，同时保持图像编码器冻结。值得注意的是，这一方法不仅适用于体积医学图像，还可通用于任何 2D/3D 分割任务。为充分评估我们的方法，我们在四个数据集上进行了广泛验证，涵盖两种模态下的六个解剖分割任务。此外，我们对比分析了 SAM 中不同提示选项以及全监督 nnU-Net。结果表明，我们的方法在仅使用点提示的 SAM 上性能显著优于后者（IoU 约提高 50%），同时与全监督方法相当，却将标注数据要求至少降低了一个数量级。