梯度下降中的线性范围

本文定义线性范围为导致网络状态近似线性扰动的参数扰动范围。我们通过状态的实际扰动与切解之间的差异计算线性范围。线性范围是用于估计梯度有效性的新准则，因此具有许多可能的应用。特别地，我们提出训练初始阶段的最优学习率应使所有小批量上的参数变化都在线性范围内。我们在两个浅层神经网络和ResNet上演示了我们的算法。