面向体数据器官分割的基础模型与少样本参数高效微调
计算机视觉与模式识别
2025-05-12 v4
摘要
近期基础模型与“预训练—适配”范式（即将大规模模型迁移至下游任务）的流行，正在体积医学图像分割领域受到关注。然而，当前专用于迁移学习的全微调策略可能需要大量资源，并且在目标任务标注数据稀缺时产生次优结果。这使得其在真实临床环境中的应用具有挑战性，因为这些机构通常受限于数据与计算资源以开发专有解决方案。为应对此挑战，我们形式化了少样本高效微调（FSEFT），一种用于适配医学图像分割基础模型的崭新且现实的场景。该设定同时考虑了适配过程中数据效率与参数效率的关键作用。基于在开放获取CT器官分割数据源上预训练的基础模型，我们提出利用参数高效微调（Parameter-Efficient Fine-Tuning）与黑盒适配器（black-box Adapters）来应对此类挑战。此外，本工作引入了新颖的高效适配方法，包括更适用于密集预测任务与约束转导推断的空间黑盒适配器（Spatial black-box Adapters），以及利用任务特定先验知识的约束转导推断。我们全面的迁移学习实验证实了基础模型在医学图像分割中的适用性，并揭示了流行微调策略在少样本场景下的局限性。
引用
@article{arxiv.2303.17051,
title = {Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation},
author = {Julio Silva-Rodríguez and Jose Dolz and Ismail Ben Ayed},
journal= {arXiv preprint arXiv:2303.17051},
year = {2025}
}
备注
Accepted in Medical Image Analysis. The pre-trained model and adaptation code is available at: https://github.com/jusiro/fewshot-finetuning