拼接、微调、重训练：面向半监督 3D 医学图像分割的 SAM 赋能框架
计算机视觉与模式识别
2025-01-22 v2
摘要
Segment Anything Model（SAM）的微调在全监督方式的医学图像分割中展现出了卓越的性能，但需要精确的标注。为了降低标注成本并保持令人满意的性能，在本工作中，我们利用 SAM 的能力来建立半监督医学图像分割模型。重新考量有效性、效率和兼容性的要求，我们提出了一个三阶段框架，即拼接、微调和重训练（SFR）。当前的微调方法大多涉及 2D 逐切片微调，忽略了相邻切片之间的上下文信息。我们的拼接策略缓解了自然图像与 3D 医学图像之间的不匹配。随后，拼接后的图像用于微调 SAM，为伪标签提供稳健的初始化。之后，我们训练一个 3D 半监督分割模型，同时保持与常规分割器（如 V-Net）相同的参数量。我们的 SFR 框架即插即用，且易于与各种流行的半监督方法兼容。我们还开发了一个扩展框架 SFR，通过置信度估计进行选择性微调和重训练。大量实验验证了我们的 SFR 和 SFR 在五个数据集的适度标注和稀缺标注设置下均取得了显著提升。特别是，在 LA 数据集仅有标注数据的情况下，SFR 框架将 Mean Teacher 的 Dice 分数从 29.68% 提升至 74.40%。
引用
@article{arxiv.2403.11229,
title = {Stitching, Fine-tuning, Re-training: A SAM-enabled Framework for Semi-supervised 3D Medical Image Segmentation},
author = {Shumeng Li and Lei Qi and Qian Yu and Jing Huo and Yinghuan Shi and Yang Gao},
journal= {arXiv preprint arXiv:2403.11229},
year = {2025}
}