BYOL 即使没有批统计量也能工作
机器学习
2020-10-21 v1 计算机视觉与模式识别
机器学习
摘要
Bootstrap Your Own Latent (BYOL) 是一种用于图像表示的自监督学习方法。从图像的增强视图出发，BYOL 训练在线网络去预测同一图像另一增强视图的目标网络表示。与对比方法不同，BYOL 在其训练目标中并未显式使用由负对构成的排斥项。然而，它避免了坍缩为平凡的常量表示。因此，近期有假设认为批归一化 (BN) 对防止 BYOL 中的坍缩至关重要。确实，BN 在批元素间流动梯度，并可能泄漏批中负视图的信息，从而充当隐式的负（对比）项。然而，我们通过实验表明，用与批无关的归一化方案（即组归一化与权重标准化的组合）替代 BN，可达到与原始 BYOL 相当的 performance（在 ImageNet 上采用 ResNet-50 的线性评估协议中，top-1 准确率为 73.9% 对 74.3%）。我们的发现反驳了批统计量使用是 BYOL 学习有用表示的关键要素的假设。
引用
@article{arxiv.2010.10241,
title = {BYOL works even without batch statistics},
author = {Pierre H. Richemond and Jean-Bastien Grill and Florent Altché and Corentin Tallec and Florian Strub and Andrew Brock and Samuel Smith and Soham De and Razvan Pascanu and Bilal Piot and Michal Valko},
journal= {arXiv preprint arXiv:2010.10241},
year = {2020}
}