利用连续时间理解训练对角线性网络时的动量

在本工作中，我们研究了动量对梯度下降优化轨迹的影响。我们利用连续时间方法来分析具有步长$\gamma$和动量参数$\beta$的动量梯度下降，这使我们能够识别出一个内在量$\lambda = \frac{ \gamma }{ (1 - \beta)^2 }$，该量唯一地定义了优化路径并提供了一个简单的加速规则。当在过参数化回归设置中训练一个 2 层对角线性网络时，我们通过一个隐式正则化问题刻画了恢复的解。随后，我们证明了较小的$\lambda$值有助于恢复稀疏解。最后，我们对随机动量梯度下降给出了类似但较弱的结果。我们提供了支持我们主张的数值实验。