面向医学图像分析的目标参数预训练：无缝参数高效微调
计算机视觉与模式识别
2025-06-06 v2
摘要
参数高效微调（PEFT）技术已涌现出来，用于解决在自监督学习中完全微调导致的过拟合和高计算成本问题。主流的 PEFT 方法在保持预训练主干参数固定的同时，仅添加少量可训练参数。这些方法实现了与完全微调相当，甚至优于完全微调的性能，显示了预训练主干的强大表征能力。尽管如此，这些方法通常忽略了新参数的初始化，常常仅依赖随机初始化。我们认为，如果预训练对这些参数具有显著益处，那么它应该被应用于所有需要表征能力的参数。基于此，我们提出了目标参数预训练（TPP），这是一种简单而有效的微调框架。TPP 在 PEFT 之前对目标参数进行预训练，即在微调期间新增的参数。此阶段冻结预训练主干参数，仅训练新参数。通过定义的预热任务，鼓励新参数学习下游数据的特定表征。随后，在采用 PEFT 时加载预训练后的新参数，以提高微调效率。该提出的 TPP 框架具有通用性，可集成各种预训练主干、预热任务和 PEFT 方法。我们在七个公开数据集上评估了该方法的微调性能，涵盖四种模态和两种任务类型。结果表明，TPP 可以轻松集成到现有的 PEFT 方法中，显著提升性能。
引用
@article{arxiv.2408.15011,
title = {Pre-training Everywhere: Parameter-Efficient Fine-Tuning for Medical Image Analysis via Target Parameter Pre-training},
author = {Xingliang Lei and Yiwen Ye and Zhisong Wang and Ziyang Chen and Minglei Shu and Weidong Cai and Yanning Zhang and Yong Xia},
journal= {arXiv preprint arXiv:2408.15011},
year = {2025}
}
备注
14 pages, 4 figures, 11 tables