理解非线性在对比学习训练动态中的作用

尽管自监督学习（SSL）的经验成功严重依赖于深度非线性模型的使用，现有关于SSL理解的理论工作仍聚焦于线性模型。本文中，我们研究在具有齐次激活 $h(x) = h'(x)x$ 的单层与双层非线性网络上，非线性在对比学习（CL）训练动态中的作用。我们有两项主要理论发现。第一，非线性的存在即使在单层设定下也会引致许多局部最优，每一个对应于数据分布的某种模式，而使用线性激活时只能学到一种主要模式。这表明具有大量参数的模型可被视为寻找这些由非线性引致的局部最优的\emph{暴力}方式。第二，在双层情形下，证明线性激活无法将专用权重学习到多样模式中，展示了非线性的重要性。此外，对于双层设定，我们还发现了\emph{全局调制}：那些从全局层面模式视角可区分的局部模式被优先学习，进一步刻画了学习过程。仿真验证了我们的理论发现。