深度神经网络早期训练动力学的相图：学习率、深度和宽度的影响

我们系统分析了用随机梯度下降（SGD）训练的深度神经网络（DNNs）中的优化动力学，并研究了神经网络学习率 $\eta$、深度 $d$ 和宽度 $w$ 的影响。通过分析损失 Hessian 的最大特征值 $\lambda^H_t$（它是损失景观锐度的度量），我们发现动力学可表现出四种不同机制：（i）早期瞬态机制，（ii）中间饱和机制，（iii）渐进锐化机制，以及（iv）晚期“稳定性边缘”机制。早期和中间机制（i）和（ii）展现出依赖于 $\eta \equiv c / \lambda_0^H$、$d$ 和 $w$ 的丰富相图。我们确定了 $c$ 的几个临界值，它们将训练损失和锐度的早期时间动力学中性质不同的现象分开。值得注意的是，我们发现随着 $d$ 和 $1/w$ 增大，会出现一个“锐度降低”相，其中锐度在早期时间内下降。