用于迁移学习的高效条件预训练
计算机视觉与模式识别
2021-11-22 v5
摘要
几乎所有用于计算机视觉任务的顶尖神经网络都通过（1）在大规模数据集上预训练以及（2）在目标数据集上微调来训练。该策略有助于减少对目标数据集的依赖，并改善目标任务的收敛速度与泛化能力。尽管在大规模数据集上预训练非常有用，其首要缺点是高训练成本。为此，我们提出高效的过滤方法，从预训练数据集中筛选相关子集。此外，我们发现降低预训练阶段的图像分辨率在成本与性能之间提供了极佳的权衡。我们通过在 ImageNet 上以无监督与有监督两种设定进行预训练，并在多样化的目标数据集与任务上微调，验证了我们的技术。我们提出的方法大幅降低了预训练成本并带来了显著的性能提升。最后，通过在我们的子集上调整可用模型并从更大规模数据集中过滤出的数据集上进行预训练，我们将标准 ImageNet 预训练性能提高了 1-3%。
引用
@article{arxiv.2011.10231,
title = {Efficient Conditional Pre-training for Transfer Learning},
author = {Shuvam Chakraborty and Burak Uzkent and Kumar Ayush and Kumar Tanmay and Evan Sheehan and Stefano Ermon},
journal= {arXiv preprint arXiv:2011.10231},
year = {2021}
}