随机设置下 Nesterov 加速梯度方法的收敛性研究
机器学习
2020-06-30 v2 最优化与控制
机器学习
摘要
我们研究了在随机近似设置（无偏梯度且方差有界）和有限和设置（随机性源于小批量采样）下，具有恒定步长和动量参数的 Nesterov 加速梯度方法。为了更好地理解 Nesterov 方法在随机设置下的行为，我们始终关注光滑、强凸且二阶连续可微的目标函数。在随机近似设置下，Nesterov 方法以与确定性设置相同的加速速率收敛到最优点附近。或许令人惊讶的是，在有限和设置下，我们证明除非满足与条件数和数协调相关的额外问题条件，否则采用通常步长和动量选择的 Nesterov 方法可能发散。我们的结果揭示了为何 Nesterov 方法在有限和设置下可能无法收敛或实现加速。
引用
@article{arxiv.2002.12414,
title = {On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings},
author = {Mahmoud Assran and Michael Rabbat},
journal= {arXiv preprint arXiv:2002.12414},
year = {2020}
}