重新思考预训练与自训练
计算机视觉与模式识别
2020-11-17 v2 机器学习
机器学习
摘要
预训练是计算机视觉中的主导范式。例如，有监督的ImageNet预训练通常用于初始化目标检测和分割模型的骨干网络。然而，He等人展示了一个令人惊讶的结果：ImageNet预训练对COCO目标检测的影响有限。在此，我们在相同设置下研究自训练作为利用额外数据的另一种方法，并将其与ImageNet预训练进行对比。我们的研究通过三个额外见解揭示了自训练的通用性与灵活性：1）更强的数据增强和更多标注数据进一步削弱了预训练的价值，2）与预训练不同，在使用更强数据增强时，自训练在低数据和高质量数据两种情况下始终有帮助，3）在预训练有帮助的情况下，自训练优于预训练。例如，在COCO目标检测数据集上，当我们使用五分之一的标注数据时预训练有益，而使用全部标注数据时损害精度。另一方面，自训练在所有数据集规模上均显示出从+1.3到+3.4AP的正向提升。换言之，自训练恰好在预训练不起作用的相同设置（使用ImageNet帮助COCO）下表现良好。在PASCAL分割数据集（比COCO小得多的数据集）上，尽管预训练确实显著有帮助，自训练仍优于预训练模型。在COCO目标检测上，我们取得了54.3AP，比最强的SpineNet模型提高+1.5AP。在PASCAL分割上，我们取得了90.5 mIOU，比此前DeepLabv3+的state-of-the-art结果提高+1.5% mIOU。
引用
@article{arxiv.2006.06882,
title = {Rethinking Pre-training and Self-training},
author = {Barret Zoph and Golnaz Ghiasi and Tsung-Yi Lin and Yin Cui and Hanxiao Liu and Ekin D. Cubuk and Quoc V. Le},
journal= {arXiv preprint arXiv:2006.06882},
year = {2020}
}
备注
Accepted for publication at the Thirty-fourth Conference on Neural Information Processing Systems (NeurIPS 2020)