对比与非对比学习图景的对照
机器学习
2022-03-30 v1 计算机视觉与模式识别
机器学习
摘要
无监督特征学习的许多近期进展基于设计在语义数据增强下不变的特征。一种常见做法是使用正负样本的对比学习。然而，一些近期工作展示了非对比学习的 promising 结果，其不需要负样本。但非对比损失具有明显的“坍缩”极小值，其中编码器输出与输入无关的固定特征嵌入。一个民间猜想是，只要避免这些坍缩解，所产生的特征表示就应是良好的。在本文中，我们质疑这一说法：我们通过理论结果和受控实验表明，即便在简单数据模型上，非对比损失也大量存在非坍缩的坏极小值。此外，我们表明训练过程并不能避开这些极小值。
引用
@article{arxiv.2203.15702,
title = {Contrasting the landscape of contrastive and non-contrastive learning},
author = {Ashwini Pokle and Jinjin Tian and Yuchen Li and Andrej Risteski},
journal= {arXiv preprint arXiv:2203.15702},
year = {2022}
}
备注
Accepted for publication in the AISTATS 2022 conference (http://aistats.org/aistats2022/accepted.html)