通过更好利用预训练数据改进微调
计算机视觉与模式识别
2022-05-27 v2 机器学习
机器学习
摘要
作为一种主导范式，在目标数据上微调预训练模型被广泛应用于许多深度学习应用中，尤其适用于小数据集。然而，近期研究经验性地表明，在某些视觉任务中，一旦训练样本数量增加，从头训练的性能并不逊于这种预训练策略。本工作从泛化分析的角度，利用学习理论中常用的超额风险界重新审视这一现象。结果揭示，超额风险界对预训练模型的依赖可能较弱。这一观察启发我们利用预训练数据进行微调，因为这些数据同样可用于微调。使用预训练数据的泛化结果表明，当在微调中包含合适的预训练数据时，目标任务的超额风险界可以得到改善。基于这一理论动机，我们提出了一种新颖的选择策略，从预训练数据中选择一个子集，以帮助提升目标任务的泛化能力。在8个基准数据集上的图像分类任务的大量实验结果，验证了所提出的基于数据选择的微调流程的有效性。
引用
@article{arxiv.2111.12292,
title = {Improved Fine-Tuning by Better Leveraging Pre-Training Data},
author = {Ziquan Liu and Yi Xu and Yuanhong Xu and Qi Qian and Hao Li and Xiangyang Ji and Antoni Chan and Rong Jin},
journal= {arXiv preprint arXiv:2111.12292},
year = {2022}
}