关于监督预训练中类内/类间多样性权衡的研究
机器学习
2023-12-04 v2 机器学习
摘要
预训练数据集对于构建最先进的机器学习模型至关重要，这促使人们严格研究其对下游任务的影响。在这项工作中，我们研究了监督预训练数据集的类内多样性（每类样本数）与类间多样性（类别数）之间权衡的影响。通过实证，我们发现当预训练数据集大小固定时，最佳的下游性能来自于类内/类间多样性的平衡。为理解其底层机制，我们从理论上证明下游性能对两类多样性均单调依赖。值得注意的是，我们的理论揭示最优类样本比（#类别 / #每类样本数）与预训练数据集大小无关，这启发了一个预测最优预训练类别数的应用。我们通过在使用 ImageNet 作为预训练数据集时下游任务约 2 个点的提升，证明了该应用的有效性。
引用
@article{arxiv.2305.12224,
title = {On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training},
author = {Jieyu Zhang and Bohan Wang and Zhengyu Hu and Pang Wei Koh and Alexander Ratner},
journal= {arXiv preprint arXiv:2305.12224},
year = {2023}
}
备注
NeurIPS 2023