预训练数据多样性与微调鲁棒性之间的联系
计算机视觉与模式识别
2023-07-25 v1 机器学习
摘要
预训练已在深度学习中被广泛采用以提升模型性能，尤其是在目标任务的训练数据有限时。在我们的工作中，我们试图理解这一训练策略对下游模型泛化性质的影响。更具体地，我们提出如下问题：预训练分布的性质如何影响微调模型的鲁棒性？我们探究的性质包括预训练分布的标签空间、标签语义、图像多样性、数据域以及数据量。我们发现影响下游有效鲁棒性（Taori et al., 2020）的主要因素是数据量，而其他因素意义有限。例如，在保持总数据量不变的情况下，将 ImageNet 预训练类别数减少 4 倍同时将每类图像数增加 4 倍，并不影响微调模型的鲁棒性。我们在来自多种自然与合成数据源的预训练分布上展示了我们的发现，主要使用 iWildCam-WILDS 分布偏移作为下游鲁棒性的测试。
引用
@article{arxiv.2307.12532,
title = {On the Connection between Pre-training Data Diversity and Fine-tuning Robustness},
author = {Vivek Ramanujan and Thao Nguyen and Sewoong Oh and Ludwig Schmidt and Ali Farhadi},
journal= {arXiv preprint arXiv:2307.12532},
year = {2023}
}