理解对比自监督学习中的维度坍缩
计算机视觉与模式识别
2022-04-26 v3 人工智能
机器学习
摘要
自监督视觉表示学习旨在不依赖人工标注的情况下学习有用的表示。联合嵌入方法基于最大化同一图像不同视图的嵌入向量之间的一致性。人们已经提出了多种方法来解决所有嵌入向量坍缩为平凡常数解的坍缩问题。在这些方法中，对比学习通过负样本对来防止坍缩。已有研究表明，非对比方法存在一种性质不同的较轻坍缩问题：维度坍缩，即嵌入向量最终张成低维子空间，而非整个可用的嵌入空间。在此，我们表明维度坍缩同样发生在对比学习中。在本文中，我们阐明了对比学习中导致维度坍缩的动力学机制。受我们的理论启发，我们提出了一种名为 DirectCLR 的新型对比学习方法，该方法直接优化表示空间，而不依赖显式的可训练投影器。实验表明，DirectCLR 在 ImageNet 上优于带有可训练线性投影器的 SimCLR。
引用
@article{arxiv.2110.09348,
title = {Understanding Dimensional Collapse in Contrastive Self-supervised Learning},
author = {Li Jing and Pascal Vincent and Yann LeCun and Yuandong Tian},
journal= {arXiv preprint arXiv:2110.09348},
year = {2022}
}
备注
In Proceedings of the 10th International Conference on Learning Representations (ICLR) 2022