用于半监督医学图像分割的可学习提示 SAM 诱导知识蒸馏
计算机视觉与模式识别
2024-12-19 v1
摘要
标注数据的有限可用性推动了医学图像分割半监督学习的发展。为通用分割量身定制的大规模现代模型，如 Segment Anything Model (SAM)，展现出了稳健的泛化能力。然而，将这些模型直接应用于医学图像分割仍会出现性能下降。在本文中，我们提出了一种用于半监督医学图像分割的可学习提示 SAM 诱导知识蒸馏框架。首先，我们提出了一种多视图协同训练策略，采用两个不同的子网络执行协同教学范式，从而获得更稳健的结果。其次，我们提出了一种可学习提示策略，以动态生成密集提示，并集成适配器专门针对医学图像分割任务微调 SAM。此外，我们提出了 SAM 诱导知识蒸馏，将 SAM 的有用知识转移到两个子网络中，使其能够从 SAM 的预测中学习，并减轻训练过程中错误伪标签的影响。值得注意的是，我们的子网生成的预测被用于为 SAM 生成掩码提示，从而促进有效的模块间信息交换。在各种医学分割任务上的大量实验结果表明，我们的模型优于 state-of-the-art 半监督分割方法。至关重要的是，我们的 SAM 蒸馏框架可以无缝集成到其他半监督分割方法中以提升性能。
引用
@article{arxiv.2412.13742,
title = {Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation},
author = {Kaiwen Huang and Tao Zhou and Huazhu Fu and Yizhe Zhang and Yi Zhou and Chen Gong and Dong Liang},
journal= {arXiv preprint arXiv:2412.13742},
year = {2024}
}
备注
12 pages, 7 figures