梯度相关性是加速带动量SGD的关键要素
最优化与控制
2025-01-27 v2
摘要
实验上，人们观察到在随机梯度下降(SGD)中添加动量可加快算法的收敛速度。然而，文献中即便在凸函数的情况下，也对能够理论上证明这一观察的可能性持悲观态度。我们调查了在凸设置下，对随机Nesterov加速梯度(SNAG)—SGD的动量版本实现加速收敛的可能性。我们展示了梯度之间的平均相关性允许验证强增长条件，这是获得SNAG加速的关键要素。数值实验，包括线性回归和深度神经网络优化，都在实践中确认了我们的理论结果。
引用
@article{arxiv.2410.07870,
title = {Gradient correlation is a key ingredient to accelerate SGD with momentum},
author = {Julien Hermant and Marien Renaud and Jean-François Aujol and Charles Dossal and Aude Rondepierre},
journal= {arXiv preprint arXiv:2410.07870},
year = {2025}
}