NEON+：用于非凸优化中提取负曲率的加速梯度方法

加速梯度（AG）方法是凸优化中的突破，改善了光滑函数优化中梯度下降方法的收敛速率。然而，AG方法在非凸优化中的分析仍然有限。来自凸优化的AG方法能否加速梯度下降方法以找到非凸优化问题局部极小，仍是一个开放问题。本文对该问题给出了肯定回答。具体而言，我们分析了两种著名AG方法变体（即Polyak重球法与Nesterov加速梯度法）从随机噪声中提取负曲率的性质，而提取负曲率对逃离鞍点至关重要。通过利用所提AG方法提取负曲率，我们给出了一种用于非凸优化的双循环新AG算法~\footnote{这与近期稿件~\citep{AGNON}中提出的单循环AG算法形成对比，后者直接分析了Nesterov的AG方法用于非凸优化并于2017年11月29日在线发表。但我们强调我们的工作是独立工作，受我们早期工作~\citep{NEON17}启发并基于不同的新颖分析。}，其收敛到二阶驻点$\x$使得$\|\nabla f(\x)\|\leq \epsilon$且$\nabla^2 f(\x)\geq -\sqrt{\epsilon} I$，迭代复杂度为$\widetilde O(1/\epsilon^{1.75})$，比梯度下降方法提升$\epsilon^{-0.25}$因子，并匹配非凸优化中二阶无Hessian方法的最佳迭代复杂度。