重访自监督视觉表征学习
计算机视觉与模式识别
2019-01-28 v1
摘要
无监督视觉表征学习在视觉研究中仍是一个很大程度上未解决的问题。在近期提出的大量无监督视觉表征学习方法中，一类自监督技术在许多具挑战性的基准上取得了优越性能。已有大量关于自监督学习的 pretext task（ pretext 任务）被研究，但其他重要方面，如卷积神经网络（CNN）的选择，并未受到同等关注。因此，我们重访众多先前提出的自监督模型，开展彻底的大规模研究，并由此揭示多条关键见解。我们挑战自监督视觉表征学习中的若干常见做法，并观察到 CNN 设计的标准经验法则并非总可迁移至自监督表征学习。作为我们研究的一部分，我们大幅提升了先前提出技术的性能，并以较大优势超越了此前发表的最优结果。
引用
@article{arxiv.1901.09005,
title = {Revisiting Self-Supervised Visual Representation Learning},
author = {Alexander Kolesnikov and Xiaohua Zhai and Lucas Beyer},
journal= {arXiv preprint arXiv:1901.09005},
year = {2019}
}
备注
All three authors contributed equally. Code is available at https://github.com/google/revisiting-self-supervised