关于噪声负曲率下降：与梯度下降竞争以实现更快的非凸优化

Hessian-向量积已被用于寻找具有强复杂度保证（例如，在问题维度上几乎线性的时间复杂度）的二阶驻点解。在本文中，我们提出进一步减少 Hessian-向量积的数量以实现更快的非凸优化。先前的算法需要以足够的精度（例如，$\epsilon_2\ll 1$）近似最小特征值，以获得足够精确的二阶驻点解（即，$\lambda_{\min}(\nabla^2 f(\x))\geq -\epsilon_2$）。相比之下，所提出的算法只需计算近似相应特征值至当前梯度范数的小次幂的最小特征向量。因此，它可以在达到一阶驻点（例如，鞍点）之前的优化过程中大幅减少 Hessian-向量积的数量。所提出算法的关键构建模块是一个名为 NCG 步的新型更新步，它让噪声负曲率下降与梯度下降进行竞争。我们表明，所提出的算法在最坏情况下的时间复杂度及其有利的预定精度要求可以与文献中实现二阶驻点的最佳结果相匹配，但每次迭代的成本可以说更低。我们还表明，通过开发在温和条件下接受非精确 Hessian 的变体，所提出的算法可以从非精确 Hessian 中受益，以实现相同的目标。此外，我们针对有限和或无限和非凸优化问题开发了一种随机算法。据我们所知，所提出的随机算法是第一个以与样本量无关且在维度上几乎线性的时间复杂度在\textit{高概率}下收敛到二阶驻点的算法。