用于寻找局部极小值的更快扰动随机梯度方法

逃离鞍点并寻找局部极小值是非凸优化中的核心问题。扰动梯度方法或许是解决这个问题最简单的方法。然而，为寻找$(\epsilon, \sqrt{\epsilon})$-近似局部极小值，此类算法现有的最佳随机梯度复杂度为$\tilde O(\epsilon^{-3.5})$，并非最优。本文提出LENA（Last stEp shriNkAGE），一种用于寻找局部极小值的更快扰动随机梯度框架。我们表明，采用SARAH/SPIDER和STORM等随机梯度估计器的LENA可在$\tilde O(\epsilon^{-3} + \epsilon_{H}^{-6})$次随机梯度计算（或当$\epsilon_H = \sqrt{\epsilon}$时为$\tilde O(\epsilon^{-3})$）内找到$(\epsilon, \epsilon_{H})$-近似局部极小值。我们框架的核心思想是通过步长收缩方案来控制迭代量的平均移动，从而实现向局部极小值的更快收敛。