对比学习的自然图像理论

为什么简单的图像和增强操作对比学习能产生适合下游任务的有用表示？我们通过分析一系列基本增强操作和任何具有平稳统计的图像数据集，解析地计算了最优表示的对比损失。对于某些增强操作，最优解可以通过一个第一层滤波器为正弦波、然后经过点非线性、全局平均池化和一个执行部分白化的最终线性层的卷积神经网络获得。我们还表明，对于更复杂的增强操作，这类CNN的最优权重仍然是正弦波。正弦波的频率和权重可以通过给定数据集的预期功率谱的简单水填充算法来计算。不同图像数据集和增强操作的实验表明，这样的CNN通过SGD在第一个层中 empirically 学习正弦波并执行部分白化。