动量加速对在线学习的影响

本文详细考察了在恒定步长和慢适应机制下动量随机梯度方法的收敛速度和均方误差性能。结果确立：动量方法等价于具有重缩放（更大）步长值的标准随机梯度方法。重缩放的大小由动量参数的值决定。该等价结果在所有时刻成立，而不仅在稳态下。分析针对一般强凸且光滑的风险函数进行，不限于二次风险。一个值得注意的结论是：用于确定性优化问题的动量构造的众所周知的益处，当使用小常数步长以实现在持续梯度噪声存在下的连续适应和学习时，未必能推广到自适应在线设置。通过仿真，对于不可微和非凸问题也观察到动量与标准随机梯度方法之间的等价性。