过参数化神经网络中的对称性：平均场视角

我们开发了在关于一般紧致群G的作用具有分布对称性的数据下，过参数化人工神经网络（NN）学习动力学的平均场（MF）视角。为此，我们考虑一类广义浅层神经网络，由N个多层单元集成，使用随机梯度下降（SGD）联合训练，并可能使用对称性利用（SL）技术，如数据增强（DA）、特征平均（FA）或等变架构（EA）。我们在每个单单元的参数空间上引入了弱不变和强不变律（WI和SI）的概念，分别对应于G-不变分布和支撑在群作用固定参数上的分布（编码EA）。这使我们能够定义与N→∞兼容的对称模型，并解释DA、FA和EA的渐近动力学，用描述其MF极限的Wasserstein梯度流。当激活函数尊重群作用时，我们证明对于对称数据，DA、FA和自由训练的模型遵循完全相同的MF动力学，该动力学停留在WI律空间内并在其中最小化总体风险。我们还给出了一个关于SI律最优性一般可达性的反例。尽管如此，值得注意的是，我们证明即使在自由训练下，SI律的集合也被MF动力学保持。这与有限N设置形成鲜明对比，在有限N设置中，EA通常不被无约束SGD保持。我们在教师-学生实验设置中验证了我们的发现，随着N增大，通过各种SL方案训练学生NN从WI、SI或任意教师模型学习。最后，我们推导出一个数据驱动的启发式方法，用于发现问题中支持SI分布的参数的最大子空间，可用于设计具有最小泛化误差的EA。