Noether：变者愈变，恒者恒存

对称性已被证明是神经网络分析中的重要要素。迄今为止，其使用大多是隐式的或看似偶然的。我们系统性地研究了对称性所起的作用。特别地，我们阐明了对称性如何与学习算法相互作用。我们研究的关键要素是诺特（Noether）的著名定理，通俗而言，该定理指出对称性导致守恒量（例如能量守恒或动量守恒）。在梯度下降下的神经网络领域中，模型对称性意味着对梯度路径的限制。例如，我们表明激活函数的对称性导致权重矩阵的界，对于线性激活这一特例则导致连续层的平衡方程；数据增强导致具有“动量”型限制的梯度路径；时间对称性导致神经切线核（Neural Tangent Kernel）的一个版本。对称性本身并不指定优化路径，但模型中包含的对称性越多，对路径施加的限制就越多。由于对称性也意味着过参数化，这实际上意味着这部分过参数化被守恒量的存在所抵消。因此，对称性可被视作理解梯度下降下神经网络性能的又一重要工具。