对比自监督表示学习流程的对比分析
计算机视觉与模式识别
2021-08-20 v2 机器学习
摘要
在过去几年中，我们见证了自监督表示学习的显著突破。尽管通过该范式学习的表示已被成功采用，但不同训练方法与数据集如何影响下游任务性能仍待深入理解。本文中，我们将对比方法作为最成功且流行的自监督表示学习变体之一进行分析。我们从训练算法、预训练数据集和末端任务的角度开展此分析。我们考察了超过 700 项训练实验，包括 30 个编码器、4 个预训练数据集和 20 个多样化下游任务。我们的实验探讨了关于自监督模型相较其监督对应模型性能、当前用于评估的基准、以及预训练数据对末端任务性能影响的多方面的问题。我们的视觉表示基准（ViRB）可在 https://github.com/allenai/virb 获取。
引用
@article{arxiv.2103.14005,
title = {Contrasting Contrastive Self-Supervised Representation Learning Pipelines},
author = {Klemen Kotar and Gabriel Ilharco and Ludwig Schmidt and Kiana Ehsani and Roozbeh Mottaghi},
journal= {arXiv preprint arXiv:2103.14005},
year = {2021}
}
备注
ICCV 2021