重新思考自监督学习：小即美
计算机视觉与模式识别
2021-03-26 v1 机器学习
摘要
自监督学习（SSL），尤其是对比学习，近年来取得了巨大进展。然而，这些方法的一个共性问题是继承了有监督深度学习场景的学习范式。当前的 SSL 方法通常在大规模数据集上使用高分辨率图像预训练多个轮次，这带来了沉重的计算开销且缺乏灵活性。本文中，我们论证了 SSL 的学习范式应不同于有监督学习，且对比损失所编码的信息预期远少于有监督学习中通过交叉熵损失在标签中编码的信息。因此，我们提出缩小规模的自监督学习（S3L），其包含三部分：小分辨率、小架构和小数据。在多样化的数据集、SSL 方法与骨干架构上，与以往的 SSL 学习范式相比，S3L 以低得多的训练代价一致地取得了更高精度。此外，我们表明即便没有大型预训练数据集，S3L 仅依靠小数据也能取得令人印象深刻的成果。我们的代码已公开于 https://github.com/CupidJay/Scaled-down-self-supervised-learning。
引用
@article{arxiv.2103.13559,
title = {Rethinking Self-Supervised Learning: Small is Beautiful},
author = {Yun-Hao Cao and Jianxin Wu},
journal= {arXiv preprint arXiv:2103.13559},
year = {2021}
}
备注
12 pages