加速梯度下降比梯度下降更快逃离鞍点

内斯特罗夫加速梯度下降（AGD）作为“动量法”一般族中的一员，在凸情形下可证明比梯度下降（GD）达到更快收敛速率。然而，这些方法在非凸情形下是否优于 GD 仍属开放问题。本文研究 AGD 的一个简单变体，并证明其以 $\tilde{O}(1/\epsilon^{7/4})$ 次迭代逃离鞍点并找到二阶驻点，快于 GD 所需的 $\tilde{O}(1/\epsilon^{2})$ 次迭代。据我们所知，这是首个无需 Hessian 即可比 GD 更快找到二阶驻点的算法，也是首个即使在寻找一阶驻点情形下也具有比 GD 更快速率的单循环算法。我们的分析基于两个关键思想：（1）受连续时间视角启发，使用一个简单的哈密顿函数，AGD 即使对非凸函数也逐步单调减小之；（2）一种称为“改进或局部化”的新框架，可用于追踪基于梯度的优化算法的长期行为。我们相信这些技术可深化我们对加速算法与非凸优化的理解。