分析置换不变性在线性模式连通性中的作用

Entezari 等人 (2021) 通过经验观察发现，当考虑神经网络的置换不变性时，在两个 SGD 解之间的线性插值路径上可能不存在损失屏障——这一现象被称为模置换的线性模式连通性（LMC）。由于在模型合并等应用中的理论意义和实际相关性，该现象引起了广泛关注。在本文中，我们在师生网络设置下对两层 ReLU 网络的这一现象进行了细粒度分析。我们表明，随着学生网络宽度 $m$ 的增加，模置换的 LMC 损失屏障呈现出双下降行为。特别是，当 $m$ 足够大时，屏障以 $O(m^{-1/2})$ 的速率减小至零。值得注意的是，该速率不受维度灾难的影响，并证明了充分的置换如何能够降低 LMC 损失屏障。此外，我们观察到在增加学习率时 GD/SGD 解的稀疏性存在急剧转变，并研究了这种稀疏性偏好如何影响模置换的 LMC 损失屏障。在合成数据集和 MNIST 数据集上的实验证实了我们的理论预测，并揭示了在更复杂的网络架构中存在类似趋势。