关于动量方法性能分析：频率域视角

动量式优化器广泛用于神经网络的训练。然而，动量系数的优选选择仍然尚为人知。这一不确定性阻碍了对动量在随机梯度法中作用的清晰理解。本文提出了一种频率域分析框架，将动量方法解释为梯度的时间可变滤波器，其中对动量系数的调整修改滤波器的特征。我们的实验支持这一视角，并提供了对相关机制的更深入理解。此外，我们的分析揭示了以下重要发现：高频梯度分量在训练后期是不希望的；在早期阶段保留原始梯度，以及在训练过程中逐渐放大低频梯度分量都能提高性能。基于这些洞见，我们提出了一种基于频率的带动量随机梯度下降方法（FSGDM），这是一种启发式优化器，动态调整动量滤波特征，以一种经验有效的动态幅度响应实现。实验结果表明，FSGDM 在常规动量优化器方面具有优势。