对比学习中归纳偏置的理论研究

理解自监督学习十分重要但具挑战性。以往的理论工作研究预训练损失的作用，并将神经网络视为通用的黑箱。然而，Saunshi 等人近期的工作指出，模型架构——一个被以往工作严重忽视的组成部分——也对自监督学习的下游表现有显著影响。在本工作中，我们提供了首个纳入源自模型类的归纳偏置效应的自监督学习理论分析。具体而言，我们关注对比学习——一种在视觉领域被广泛使用的流行自监督学习方法。我们表明，当模型容量有限时，对比表示会恢复某些与模型架构兼容的特殊聚类结构，而忽略数据分布中的许多其他聚类结构。因此，我们的理论能够刻画更现实的设定，即对比表示的维度远小于数据分布中聚类的数量。我们在若干合成数据分布上实例化该理论，并提供了支持该理论的经验证据。