加速梯度方法在非凸函数临界点附近的行为
最优化与控制
2018-10-09 v3
摘要
我们研究了光滑非凸无约束优化中加速梯度方法的行为，特别关注其在严格鞍点附近的行为。加速方法是一种迭代方法，其步长通常沿一个方向进行，该方向是上一步与在当前迭代点或其附近求得的函数梯度的线性组合。（上一步编码了迭代过程早期阶段的梯度信息。）我们利用稳定流形定理证明，重球法(heavy-ball method)不太可能收敛到严格鞍点，即目标函数梯度为零但 Hessian 矩阵至少有一个负特征值的点。随后，我们考察了重球法及其他加速梯度方法在非凸二次函数严格鞍点附近的行为，表明这两种方法都能比最速下降法更快地逃离该点。
引用
@article{arxiv.1706.07993,
title = {Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions},
author = {Michael O'Neill and Stephen J. Wright},
journal= {arXiv preprint arXiv:1706.07993},
year = {2018}
}