EMP-SSL：迈向单训练轮次的自监督学习
计算机视觉与模式识别
2023-04-11 v1 人工智能
摘要
近来，自监督学习（SSL）在学习图像表示方面取得了巨大成功。尽管取得了经验性成功，大多数自监督学习方法都是相当“低效”的学习器，通常需要数百个训练轮次才能完全收敛。在这项工作中，我们表明高效自监督学习的关键在于增加每个图像实例的裁剪数量。利用最先进的 SSL 方法之一，我们引入了一种简洁的自监督学习形式，称为极端多块自监督学习（EMP-SSL），它不依赖许多 SSL 的启发式技术，如分支间权重共享、特征级归一化、输出量化和停止梯度等，并将训练轮次减少了两个数量级。我们展示了所提方法能够在仅一个轮次内于 CIFAR-10 上收敛到 85.1%、CIFAR-100 上 58.5%、Tiny ImageNet 上 38.1% 和 ImageNet-100 上 58.5%。此外，所提方法在少于十个训练轮次内通过线性探测在 CIFAR-10 上达到 91.5%、CIFAR-100 上 70.1%、Tiny ImageNet 上 51.5% 和 ImageNet-100 上 78.9%。另外，我们展示了 EMP-SSL 相比基线 SSL 方法对域外数据集具有显著更好的可迁移性。我们将在 https://github.com/tsb0601/EMP-SSL 发布代码。
引用
@article{arxiv.2304.03977,
title = {EMP-SSL: Towards Self-Supervised Learning in One Training Epoch},
author = {Shengbang Tong and Yubei Chen and Yi Ma and Yann Lecun},
journal= {arXiv preprint arXiv:2304.03977},
year = {2023}
}