探索弱监督预训练的极限
计算机视觉与模式识别
2018-05-03 v1
摘要
用于广泛任务的最先进视觉感知模型依赖于监督预训练。ImageNet 分类是这些模型事实上的预训练任务。然而，ImageNet 现在已近十年，按照现代标准算是“小”的。即便如此，对于在比之大多个数量级的数据集上进行预训练的行为，人们知之甚少。原因显而易见：此类数据集难以收集和标注。在本文中，我们提出了一项独特的研究，使用在数十亿张社交媒体图像上训练以预测标签的大型卷积网络进行迁移学习。我们的实验表明，针对大规模标签预测的训练带来了优异的结果。我们展示了在多个图像分类和目标检测任务上的改进，并报告了迄今为止最高的 ImageNet-1k 单次裁剪 top-1 准确率：85.4%（top-5 为 97.6%）。我们还进行了广泛的实验，提供了关于大规模预训练与迁移学习性能之间关系的新颖经验数据。
引用
@article{arxiv.1805.00932,
title = {Exploring the Limits of Weakly Supervised Pretraining},
author = {Dhruv Mahajan and Ross Girshick and Vignesh Ramanathan and Kaiming He and Manohar Paluri and Yixuan Li and Ashwin Bharambe and Laurens van der Maaten},
journal= {arXiv preprint arXiv:1805.00932},
year = {2018}
}
备注
Technical report