新Q-牛顿法结合回溯线搜索：良好的收敛性保证、鞍点规避、二次收敛速度及易于实现

在近期的一项合作工作中，作者开发了一种牛顿法的改进版本，名为新Q-牛顿法，该方法能规避鞍点并具有二次收敛速度。虽然该方法尚未建立良好的理论收敛性保证，但小规模问题的实验表明，该方法与其他著名的牛顿法改进版本（如自适应立方正则化和BFGS）以及一阶方法（如无界双向回溯梯度下降）相比，具有很强的竞争力。在本文中，我们通过提出一种新Q-牛顿法的改进版本，名为新Q-牛顿回溯法，解决了收敛性保证问题，该版本结合了更复杂的超参数使用和回溯线搜索。这种新方法具有非常好的理论保证，对于{\bf Morse函数}，它产生了以下结果（这对于新Q-牛顿法是未知的）：{\bf 定理。} 设$f:\mathbb{R}^m\rightarrow \mathbb{R}$为一个Morse函数，即其所有临界点都具有可逆Hessian矩阵。那么对于由新Q-牛顿回溯法从随机初始点$x_0$构造的序列$\{x_n\}$，有以下两种可能：i) $\lim_{n\rightarrow\infty}||x_n||=\infty$，或 ii) $\{x_n\}$收敛到一个点$x_{\infty}$，该点是$f$的一个{\bf 局部极小值}，且收敛速度为{\bf 二次}。此外，如果$f$具有紧子水平集，则只有情况ii)发生。据我们所知，对于Morse函数，这是迄今为止文献中迭代优化算法的最佳理论保证。我们在小规模实验中测试了新Q-牛顿回溯法的一些进一步简化版本，发现新方法显著改进了新Q-牛顿法。