基于梯度的参数选择用于高效微调
计算机视觉与模式识别
2024-12-02 v3
摘要
随着预训练模型规模的增大，全微调并为各种下游任务存储所有参数成本高昂且不可行。本文提出一种新的参数高效微调方法——基于梯度的参数选择（GPS），证明仅微调预训练模型中的少数选定参数而保持其余参数冻结，可以产生与全模型微调方法相似或更好的性能。与现有流行且最先进的参数高效微调方法不同，我们的方法在训练和推理阶段均不引入任何额外参数和计算成本。另一个优点是模型无关且非破坏性，无需针对特定模型进行任何其他设计。与全微调相比，GPS在24个图像分类任务上平均仅微调预训练模型0.36%的参数，准确率提升3.33%（FGVC: 91.78% vs. 88.45%）和9.61%（VTAB: 73.1% vs. 65.57%）；在医学图像分割任务上，mDice和mIoU分别显著提升17%和16.8%。此外，与现有PEFT方法相比，GPS实现了最先进的性能。
引用
@article{arxiv.2312.10136,
title = {Gradient-based Parameter Selection for Efficient Fine-Tuning},
author = {Zhi Zhang and Qizhe Zhang and Zijun Gao and Renrui Zhang and Ekaterina Shutova and Shiji Zhou and Shanghang Zhang},
journal= {arXiv preprint arXiv:2312.10136},
year = {2024}
}