通过坐标式优化理解深度对比学习

我们表明，在广泛损失函数族（包括 InfoNCE）下的对比学习（CL）具有关于网络参数 $\boldsymbol{\theta}$ 和成对重要性 $\alpha$ 的坐标式优化统一表述，其中\emph{最大玩家} $\boldsymbol{\theta}$ 学习用于对比性的表示，而\emph{最小玩家} $\alpha$ 对具有相似表示的不同样本对赋予更大权重。所得表述称为 $\alpha$-CL，它不仅统一了各种现有对比损失（其区别在于样本对重要性 $\alpha$ 的构造方式），还能够外推给出超越流行损失的新颖对比损失，开启了对比损失设计的新途径。这些新颖损失在 CIFAR10、STL-10 和 CIFAR-100 上取得了与经典 InfoNCE 相当（或更优）的性能。此外，我们还详细分析了最大玩家：我们证明在固定 $\alpha$ 下，最大玩家对于深度线性网络等价于主成分分析（PCA），且几乎所有局部极小都是全局的且秩为 1，恢复最优 PCA 解。最后，我们将对最大玩家的分析扩展到 2 层 ReLU 网络，表明其不动点可具有更高秩。