自监督对比学习等价于监督对比学习

尽管其实证成功性已知，但自监督对比学习（CL）的理论基础尚未完全确立。在本工作中，我们通过表明标准 CL 目标隐式地近似我们称为负样本仅监督对比损失（NSCL）的监督变体来弥补这一差距，该变体排除相同类别的对比。我们证明，在一个既不依赖标签又与网络架构无关的上界下，CL 与 NSCL 损失之间的差距随着语义类别数量的增加而消失。我们描述了 NSCL 损失全局最小值几何结构：所学表示 exhibits 增强崩溃、类别内崩溃以及形成等角紧密框架的类别中心。我们进一步引入了对线性探测少样本错误的新上界。该上界依赖于两种特征可变性度量——类别内离散度和沿类别中心连线的变化。我们表明方向性变化主导该上界，而类别内离散度的影响随标记样本数量的增加而减小。这些特性使 CL 和 NSCL 训练的表示能够通过简单的线性探针支持准确的少样本标签恢复。最终，我们在实证上验证了理论发现：CL 与 NSCL 损失之间的差距以 $\mathcal{O}(\frac{1}{\#\text{classes}})$ 的速率衰减；两种损失高度相关；最小化 CL 损失隐式地将 NSCL 损失带到由直接最小化实现的值；以及提出的少样本错误上界在实践中提供了对探测性能的紧密估计。论文的代码和项目页面均可在 [code](https://github.com/DLFundamentals/understanding-ssl)、[project page](https://dlfundamentals.github.io/ssl-is-approximately-sl/) 访问。