中文

Med-Tuning:一种面向医学体数据分割的新型参数高效微调框架

计算机视觉与模式识别 2024-05-29 v4

摘要

“预训练然后微调(FT)”范式被广泛采用以提升基于深度学习的医学体数据分割方法的模型性能。然而,传统的全量微调会带来高昂的计算与内存开销。因此,以有效且参数高效的方式微调预训练模型用于医学体数据分割任务变得愈发重要。本文引入名为Med-Tuning的新框架,以实现医学体数据分割任务的参数高效微调(PET),并提出名为Med-Adapter的高效即插即用模块用于任务特定特征提取。借助少量可调参数,我们的框架提升了在自然图像上预训练的2D基线在分割任务上的精度。在三个基准数据集(CT与MRI模态)上的大量实验表明,我们的方法在体数据分割任务上取得了优于先前PET方法的结果。与全量FT相比,Med-Tuning将微调模型参数最多减少4倍,且分割性能更优。我们的项目主页位于\url{https://rubics-xuan.github.io/Med-Tuning/}。

关键词

引用

@article{arxiv.2304.10880,
  title  = {Med-Tuning: A New Parameter-Efficient Tuning Framework for Medical Volumetric Segmentation},
  author = {Jiachen Shen and Wenxuan Wang and Chen Chen and Jianbo Jiao and Jing Liu and Yan Zhang and Shanshan Song and Jiangyun Li},
  journal= {arXiv preprint arXiv:2304.10880},
  year   = {2024}
}

备注

Accepted by MIDL 2024