揭开非对比自监督表示学习的神秘面纱
机器学习
2022-09-27 v2 机器学习
摘要
非对比自监督学习方法（如 BYOL 和 SimSiam）通过最小化同一图像两个视图之间的距离来学习表示。这些方法在实践中取得了卓越性能，但理论理解仍滞后。Tian 等人（2021）解释了表示为何不会坍缩为零，但特征如何被学习仍属未知。在我们的工作中，我们证明了在线性网络中，非对比方法能学习到理想的投影矩阵，并降低下游任务的样本复杂度。我们的分析表明，权重衰减起到一种隐式阈值的作用，丢弃在数据增强下高方差的特征，保留低方差的特征。受理论启发，我们设计了一种更简单且计算更高效的算法 DirectCopy，去除了 Tian 等人（2021）原 DirectPred 算法中的特征分解步骤。我们的实验表明，在 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 上，DirectCopy 可与 DirectPred 媲美甚至更优。
引用
@article{arxiv.2110.04947,
title = {Towards Demystifying Representation Learning with Non-contrastive Self-supervision},
author = {Xiang Wang and Xinlei Chen and Simon S. Du and Yuandong Tian},
journal= {arXiv preprint arXiv:2110.04947},
year = {2022}
}