部分微调：Vision Transformers 全量微调的继任者
计算机视觉与模式识别
2023-12-27 v1 人工智能
摘要
微调预训练基础模型已在各个研究领域获得显著普及。现有的微调方法大致可分为两类，即参数高效微调（Parameter-Efficient Fine-Tuning）和高性能微调（High-Performance Fine-Tuning）。前者旨在提高效率，而后者侧重于增强性能。除了这些方法之外，我们证明了部分微调（Partial Fine-Tuning）可以成为一个创新且有前景的方向，能够同时提高效率和准确性。我们首先在各类数据集和 Vision Transformer 架构上验证了八种手动定义的部分微调策略，发现某些部分微调策略（例如仅微调 ffn 或仅微调 attention）可以用比全量微调更少的可调参数实现更好的性能，且选择合适的层对于部分微调至关重要。因此，我们提出了一种新颖的微调角度度量指标，以指导为部分微调选择合适的层，使其能够灵活适应各种场景，从而实现更具实用性的部分微调。此外，我们展示了部分微调可以作为 Model Soups 的新维度，用更少的可调参数同时提高模型性能和泛化能力。在广泛的数据集和模型上进行的综合实验验证了部分微调的巨大潜力。
引用
@article{arxiv.2312.15681,
title = {Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers},
author = {Peng Ye and Yongqi Huang and Chongjun Tu and Minglei Li and Tao Chen and Tong He and Wanli Ouyang},
journal= {arXiv preprint arXiv:2312.15681},
year = {2023}
}