自监督预训练对视觉任务有多大用处？
计算机视觉与模式识别
2020-04-01 v1 机器学习
摘要
近期的进展推动了视觉自监督预训练的巨大进步。我们研究了哪些因素可能影响这些预训练方法对实践者的效用。为此，我们在综合的合成数据集和下游任务上评估了多种自监督算法。我们准备了一套合成数据，能够提供无限量的带标注图像，并实现对数据集难度的完全控制。我们的实验揭示了随着可用标签数量的增加，自监督的效用如何变化，以及效用如何随下游任务和训练数据属性而变化。我们还发现线性评估与微调性能不相关。代码和数据可在 \href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy} 获取。
引用
@article{arxiv.2003.14323,
title = {How Useful is Self-Supervised Pretraining for Visual Tasks?},
author = {Alejandro Newell and Jia Deng},
journal= {arXiv preprint arXiv:2003.14323},
year = {2020}
}
备注
To appear in CVPR 2020