大规模二次模型上随机动量方法的动力学

我们分析了一类带有动量的随机梯度算法在高维随机最小二乘问题上的表现。受随机矩阵理论启发的框架，对这些算法产生的损失值序列给出了精确（确定性）刻画，仅用 Hessian 矩阵的特征值表示。这导出了近乎最优超参数的简单表达式、极限邻域的描述以及平均情形复杂度。由此我们表明，当步长被正确调整时，（小批量）随机重球动量配合固定动量参数并未带来相对于 SGD 的实际性能提升。作为对比，在非强凸设定下，利用动量可获得相对于 SGD 的大幅改进。通过引入依赖于样本数的超参数，我们提出了一种新算法 sDANA（随机维度调整 Nesterov 加速），其在强凸设定下无需调整参数即保持线性收敛，同时获得渐近最优的平均情形复杂度。