奇异值扰动与深度网络优化

我们发展了关于矩阵扰动的新的理论结果，以阐明架构对深度网络性能的影响。具体而言，我们从解析上解释了深度学习实践者长期经验性观察到的现象：某些深度架构（如残差网络 ResNets 和密集网络 DenseNets）的参数比其他架构（如卷积网络 ConvNets）更易优化。基于我们早期将深度网络与连续分段仿射样条相联系的工作，我们为包括一端为 ConvNets、另一端为 ResNets、DenseNets 及其他带跳跃连接网络的一族现代深度网络，发展了深度网络层的精确局部线性表示。对于优化平方误差损失的回归与分类任务，我们证明了现代深度网络的优化损失曲面在参数上分段二次，其局部形状由局部线性表示所对应矩阵的奇异值决定。我们发展了关于此类矩阵在加入一部分单位矩阵并乘以某些对角矩阵时奇异值行为的新的扰动结果。将我们的扰动结果直接应用，可从解析上解释为何带跳跃连接的网络（如 ResNet 或 DenseNet）比 ConvNet 更易优化：得益于其更稳定的奇异值与更小的条件数，此类网络的局部损失曲面更不紊乱、更不偏狭，且局部极小点更利于基于梯度的优化。我们的结果也为不同非线性激活函数对深度网络奇异值的影响（无论其架构如何）提供了新的见解。