面向医学图像分割的定制 Segment Anything 模型

我们提出 SAMed,一种用于医学图像分割的通用解决方案。与先前方法不同,SAMed 构建于大规模图像分割模型 Segment Anything Model (SAM) 之上,以探索为医学图像分割定制大规模模型这一新研究范式。SAMed 对 SAM 图像编码器应用基于低秩(LoRA)的微调策略,并与提示编码器和掩码解码器一起在带标注的医学图像分割数据集上微调。我们还观察到,warmup 微调策略与 AdamW 优化器使 SAMed 成功收敛并降低损失。与 SAM 不同,SAMed 可对医学图像执行语义分割。我们训练得到的 SAMed 模型在 Synapse 多器官分割数据集上取得了 81.88 DSC 与 20.64 HD,与最先进方法相当。我们进行了大量实验以验证我们设计的有效性。由于 SAMed 仅更新 SAM 参数的很小一部分,其在实际使用中的部署成本与存储成本都相当微小。SAMed 的代码见 https://github.com/hitachinsk/SAMed。