重新思考有监督预训练以实现更好的下游迁移
计算机视觉与模式识别
2022-03-15 v2 机器学习
摘要
预训练-微调范式在深度学习的许多应用中表现出优异性能,其中模型先在上游大型数据集(如 ImageNet)上预训练,再微调到不同下游任务。尽管在大多数情况下,预训练阶段基于有监督方法进行,近期关于自监督预训练的工作已展现出强大的可迁移性,甚至在多个下游任务上优于有监督预训练。因此,如何更好地将有监督预训练模型泛化到下游任务仍是一个开放问题。本文中,我们认为现有有监督预训练方法可迁移性较差源于对有价值的类内语义差异的忽视。这是因为这些方法倾向于将同一类的图像彼此推近,而不顾其视觉内容的巨大多样性,我们将此问题称为“上游任务过拟合”。为缓解该问题,我们提出一种基于留一 K 近邻(简称 LOOK)的新有监督预训练方法。它通过仅要求每张图像与其大部分 k 近邻共享类标签,从而缓解上游任务过拟合问题,使得每个类呈现多模态分布,进而保留部分类内差异以更好地迁移到下游任务。我们开发了所提方法的高效实现,可良好扩展至大型数据集。在多个下游任务上的实验研究表明,LOOK 优于其他有监督与自监督预训练的 SOTA 方法。
引用
@article{arxiv.2110.06014,
title = {Rethinking Supervised Pre-training for Better Downstream Transferring},
author = {Yutong Feng and Jianwen Jiang and Mingqian Tang and Rong Jin and Yue Gao},
journal= {arXiv preprint arXiv:2110.06014},
year = {2022}
}