神经网络局部到全局秩序的突触神经平衡理论

我们发展出一种关于突触神经平衡及其如何产生或强制的通用理论。对于给定的正则化器，若一个神经元的输入权重总代价等于其输出权重总代价，则称其处于平衡状态。最基本的例子是使用 $L_2$ 正则化器训练的 ReLU 单元的前馈网络，它们在经过适当训练后表现出平衡现象。该理论解释了这一现象，并在多个方向上进行扩展。第一个方向是扩展到双线性和其他激活函数。第二个方向是扩展到更一般的正则化器，包括所有 $L_p$ 正则化器。第三个方向是扩展到非分层架构、循环架构、卷积架构以及具有混合激活函数的架构。仅对误差函数进行的梯度下降一般不会收敛到每个神经元都处于平衡状态的平衡状态，即便初始状态是平衡的。然而，对正则化误差函数进行的梯度下降应当收敛到平衡状态，因此神经网络平衡可用于评估学习进度。该理论基于两个局部神经元操作：scale 操作是交换的，而平衡操作则非交换的。对于任意初始权重集合，当对每个神经元以随机方式应用局部平衡操作时，总会通过随机平衡算法收敛到相同的唯一平衡权重集合，从而实现全局秩序。这一现象的原因在于存在一个严格凸优化问题，其相关变量受约束在仅取决于架构的线性流形上。仿真结果表明，平衡神经元的平衡神经元在学习期间或在梯度下降步骤之间交替进行平衡神经元的平衡神经元，能够提高学习速度和最终性能。