具有一般外推系数的随机 Ravine 加速梯度法
摘要
在实 Hilbert 空间域设置下,我们研究了用于凸可微优化的随机 Ravine 加速梯度法的收敛性质。我们考虑了该算法的一般形式,其中外推系数可在每次迭代中变化,且梯度的评估受随机误差影响。这种一般性处理对多种实用算法与数值实现进行了建模。我们证明,在外推参数适当调整且与梯度评估相关的误差方差或步长序列足够快地趋于零时,Ravine 方法在期望和几乎必然意义下均能实现值的快速收敛。我们还将收敛速率从 O(.) 改进为 o(.)。此外,我们证明了梯度的几乎必然可和性,这意味着梯度快速收敛至零。该性质反映了 Ravine 方法的高分辨率 ODE 包含 Hessian 驱动的阻尼项。当空间还可分时,我们的分析还能确立该算法生成的迭代序列的几乎必然弱收敛。最后,我们将分析专门化以考虑不同的参数选择,包括消失和恒定(带摩擦的重球法)阻尼参数,并给出了与这些参数选择及梯度计算误差序列统计特性相关的速度与精度权衡的全面图景。我们对与 Nesterov 加速梯度法的相似性与差异进行了详尽讨论,后者满足类似的渐近收敛速率。
引用
@article{arxiv.2403.04860,
title = {The stochastic Ravine accelerated gradient method with general extrapolation coefficients},
author = {Hedy Attouch and Jalal Fadili and Vyacheslav Kungurtsev},
journal= {arXiv preprint arXiv:2403.04860},
year = {2024}
}
备注
The insight and motivation for the study of the Ravine method and many of the derivations were the work of our beloved friend and colleague Hedy Attouch. As one of the final contributions of his long and illustrious career before his unfortunate recent departure, the other authors hope that the polished manuscript is an appreciated step in honoring his legacy