理解自监督对比学习的特征学习过程

通过对比学习训练的神经网络如何从无标签数据中提取特征？为何对比学习通常比监督学习需要强得多的数据增强才能保证良好表征？这些问题涉及深度学习的优化与统计两方面，却难以通过分析以目标函数为最高追求的监督学习来回答。事实上，在自监督学习中，不可避免地要将神经网络的优化/泛化与其如何编码数据中的潜在结构相联系，我们称之为特征学习过程。本工作中，我们通过分析其特征学习过程，正式研究对比学习如何为神经网络学习特征表征。我们考虑数据由两类特征构成的情形：我们期望学习的语义对齐更强的稀疏特征，以及我们欲避免的其他稠密特征。理论上，我们证明采用 $\mathbf{ReLU}$ 网络的对比学习在使用恰当增强时，可证明地学习到所需的稀疏特征。我们提出一个称为 $\textbf{特征解耦}$ 的基本原理来解释增强的作用，并从理论上刻画增强如何降低正样本间稠密特征的相关性，同时保持稀疏特征的相关性不变，从而迫使神经网络从稀疏特征的自监督中学习。在经验上，我们验证了特征解耦原理与实践中的对比学习底层机制相符。