自举你的潜在表示：自监督学习的一种新方法
机器学习
2020-09-11 v3 计算机视觉与模式识别
机器学习
摘要
我们提出 Bootstrap Your Own Latent (BYOL)，一种自监督图像表示学习的新方法。BYOL 依赖于两个神经网络，分别称为在线网络和目标网络，它们相互作用并相互学习。从图像的一个增强视图出发，我们训练在线网络去预测同一图像在另一个不同增强视图下的目标网络表示。同时，我们使用在线网络的慢移动平均来更新目标网络。虽然最先进的方法依赖于负样本对，但 BYOL 在没有它们的情况下达到了新的最优水平。使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 上达到了 的 top-1 分类准确率，使用更大的 ResNet 则达到 。我们证明，BYOL 在迁移学习和半监督学习基准上的表现与当前最优水平相当或更好。我们的实现和预训练模型已在 GitHub 上提供。
引用
@article{arxiv.2006.07733,
title = {Bootstrap your own latent: A new approach to self-supervised Learning},
author = {Jean-Bastien Grill and Florian Strub and Florent Altché and Corentin Tallec and Pierre H. Richemond and Elena Buchatskaya and Carl Doersch and Bernardo Avila Pires and Zhaohan Daniel Guo and Mohammad Gheshlaghi Azar and Bilal Piot and Koray Kavukcuoglu and Rémi Munos and Michal Valko},
journal= {arXiv preprint arXiv:2006.07733},
year = {2020}
}