面向增强医学图像分割的视觉基础模型任务特定知识蒸馏
计算机视觉与模式识别
2025-03-11 v1
摘要
大规模预训练模型，如视觉基础模型，通过迁移泛化知识，在各种下游任务中展现出了卓越的性能，尤其是在目标数据有限的情况下。然而，其高昂的计算成本以及自然图像与医学图像之间的领域差距，限制了它们在医学分割任务中的实际应用。受此启发，我们提出以下重要问题：“当训练数据有限时，我们如何有效地利用大型预训练VFM的知识来训练一个用于医学图像分割的小型、任务特定模型？”为了解决这个问题，我们提出了一种新颖且可泛化的任务特定知识蒸馏框架。我们的方法在将知识蒸馏到较小模型之前，先在目标分割任务上微调VFM以捕获任务特定特征，并利用低秩适应来降低微调的计算成本。此外，我们引入了由扩散模型生成的合成数据来扩充迁移集，增强了模型在数据受限场景下的性能。在五个医学图像数据集上的实验结果表明，我们的方法始终优于任务无关知识蒸馏以及如 MoCo v3 和掩码自编码器(MAE)等自监督预训练方法。例如，在 KidneyUS 数据集上，使用80个标注样本进行微调时，我们的方法比任务无关KD获得了28%更高的 Dice 分数。在 CHAOS 数据集上，使用100个标注样本时，它比 MAE 提高了11%。这些结果突显了任务特定知识蒸馏在数据受限环境下训练准确、高效的医学图像分割模型的潜力。
引用
@article{arxiv.2503.06976,
title = {Task-Specific Knowledge Distillation from the Vision Foundation Model for Enhanced Medical Image Segmentation},
author = {Pengchen Liang and Haishan Huang and Bin Pu and Jianguo Chen and Xiang Hua and Jing Zhang and Weibo Ma and Zhuangzhuang Chen and Yiwei Li and Qing Chang},
journal= {arXiv preprint arXiv:2503.06976},
year = {2025}
}
备注
29 pages, 10 figures, 16 tables