走向对自监督对比学习的几何理解
机器学习
2022-10-07 v2 人工智能
摘要
自监督学习（SSL）目前是在缺乏人工标注情况下创建可用于迁移学习的数据表示的主要技术之一。尽管取得了成功，这些表示的底层几何结构仍难以捉摸，这阻碍了人们对更鲁棒、可信和可解释模型的追求。特别是，主流 SSL 技术依赖于一种特定的深度神经网络架构，其包含两个级联的神经网络：编码器（encoder）和投影器（projector）。当用于迁移学习时，投影器被丢弃，因为经验结果表明其表示的泛化能力比编码器的更差。在本文中，我们研究这一奇特现象，并分析数据增强策略的强度如何影响数据嵌入。我们发现了编码器、投影器和数据增强强度之间的非平凡关系：随着增强策略越来越大，投影器而非编码器被更强地驱动以对增强保持不变。它通过学习将数据投影到低维空间（编码器表示中数据流形切平面的一个有噪估计）来消除关于数据的关键信息。该分析通过几何视角以理论和经验结果得到证实。
引用
@article{arxiv.2205.06926,
title = {Toward a Geometrical Understanding of Self-supervised Contrastive Learning},
author = {Romain Cosentino and Anirvan Sengupta and Salman Avestimehr and Mahdi Soltanolkotabi and Antonio Ortega and Ted Willke and Mariano Tepper},
journal= {arXiv preprint arXiv:2205.06926},
year = {2022}
}