超越稳定边缘的深层线性网络学习动力学

使用固定学习率 $\eta$ 的深度神经网络通常在“稳定边缘”（EOS） regime 中运行，其中 Hessian 的最大特征值在稳定阈值 $2/\eta$ 附近均衡。在本文中，我们对深度线性网络（DLNs）在 EOS 之外的深度矩阵分解损失中的学习动力学进行细粒度分析。对于 DLNs，EOS 之外的损失振荡遵循周期倍增通向混沌的路径。我们理论上分析了 2 周期轨道的 regime，表明损失振荡发生在一个小子空间中，子空间的维数由学习率精确刻画。我们分析的关键在于表明，对于梯度流的对称引起的守恒定律——即跨层奇异值之间的平衡间隙——在 EOS 处破裂，并单调递减至零。总体而言，我们的结果有助于解释深度网络中的两个关键现象：（i）浅模型和简单任务不一定表现出 EOS；（ii）振荡发生在顶级特征上。我们 presented experiments to support our theory，并举例说明这些现象在非线性网络中如何发生以及它们与在 DLNs 中表现良好 landscapes 有何不同。