预训练数据在迁移学习中的作用
计算机视觉与模式识别
2023-03-02 v2 机器学习
摘要
模型预训练并随后微调的迁移学习范式可产出高准确率模型。尽管多数研究建议扩大预训练规模以最大程度受益于迁移学习，一个问题依然存在：应使用何种数据与方法进行预训练？我们利用 3 种预训练方法（监督式、语言-图像对比与图像-图像对比）、7 个预训练数据集与 9 个下游数据集，考察预训练数据分布对少样本与全量微调性能的影响。通过大量受控实验，我们发现预训练数据源的选择对少样本迁移至关重要，但其作用随着微调可用数据增多而减弱。此外，我们探究数据筛选的作用，并考察标签噪声与预训练数据集规模之间的权衡。我们发现，使用来自 LAION 的多 2000 倍的预训练数据可匹配监督式 ImageNet 预训练的性能。进而，我们考察预训练方法的影响，对比语言-图像对比与图像-图像对比，发现后者带来更好的下游准确率。
引用
@article{arxiv.2302.13602,
title = {The Role of Pre-training Data in Transfer Learning},
author = {Rahim Entezari and Mitchell Wortsman and Olga Saukh and M. Moein Shariatnia and Hanie Sedghi and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2302.13602},
year = {2023}
}