具有 H"older 连续 Hessian 的无约束优化问题中的自适应 Newton-CG 方法及其全局与局部分析

本文研究了用于最小化非凸函数 f 的 Newton-共轭梯度(Newton-CG)方法,其中 f 的 Hessian 为 (H_f, ν)-H"older 连续,其模数为 H_f>0、指数为 ν∈(0,1]。最近提出的针对此问题的 Newton-CG 方法采用 (i) 非自适应正则化和 (ii) 嵌套线搜索程序,其中 (i) 常导致早期进度效率低下并丢失局部超线性收敛性,而 (ii) 由于每迭代中多次求解 Newton 方程组可能导致高计算成本。为克服这些限制,本文提出两种新颖的 Newton-CG 算法,依据 ν 是否可用,通过利用自条件化技术对 Newton 系统进行自适应正则化,从而消除嵌套线搜索。所提出的算法为寻找 ε-stationary 点找到最佳已知的迭代复杂度 ${\mathcal O}\big(H_f^{1/(1+\nu)}\epsilon^{-(2+\nu)/(1+\nu)}\big)$,同时在非退化局部极小值附近实现局部超线性收敛。数值实验进一步表明本文方法在实际操作中优于现有方法。