用双深度网络理解自监督学习
机器学习
2021-02-16 v6 人工智能
机器学习
摘要
我们提出一个新的理论框架来理解采用双深度ReLU网络对（例如SimCLR）的对比自监督学习（SSL）方法。首先，我们证明在SimCLR的每次SGD更新中，使用包括简单对比损失、软Triplet损失和InfoNCE损失在内的各种损失函数时，每层的权重由一个\emph{协方差算子}更新，该算子特别地放大了初始随机选择性——这些选择性跨数据样本变化但在数据增强的平均下得以保留。为了进一步研究协方差算子的作用以及该过程中学习了哪些特征，我们通过\emph{层次潜树模型}（HLTM）对数据生成与增强过程建模，并证明尽管网络\emph{未从这些未观测潜变量获得直接监督}，深度ReLU网络的隐藏神经元可以学习HLTM中的潜变量。这导致了通过对比SSL对初始随机选择性的放大而可证明地涌现出层次特征。广泛的数值研究证实了我们的理论发现。代码发布于https://github.com/facebookresearch/luckmatters/tree/master/ssl。
引用
@article{arxiv.2010.00578,
title = {Understanding Self-supervised Learning with Dual Deep Networks},
author = {Yuandong Tian and Lantao Yu and Xinlei Chen and Surya Ganguli},
journal= {arXiv preprint arXiv:2010.00578},
year = {2021}
}