一种简单且实用的自适应信任域方法

我们提出了一种用于无约束优化的自适应信任域方法，允许对信任域子问题进行近似求解。该方法是经典信任域方法 [sorensen1982newton] 的一种简单变体。该方法在寻找 $\epsilon$ 近似静止点时，达到了最佳可能的收敛界限，即 $O( \Delta_f L^{1/2} \epsilon^{-3/2}) + \tilde{O}(1)$ 次迭代，其中 $L$ 为 Hessian 的 Lipschitz 常数，$\Delta_f$ 为最优性间隙，$\epsilon$ 为梯度范数终止容忍值。这一结果优于现有信任域方法，其最坏情况界限至少比本方法差一个因子 $L$。我们将性能与来自 GALAHAD 库的领先信任域（TRU）和三次正则化（ARC）方法在变量数超过 100 的 CUTEst 测试集上进行比较。我们使用的函数、梯度和 Hessian 评估次数均少于这些方法。例如，本算法的梯度评估中位数为 23，而 TRU 为 36，ARC 为 29。与本文的会议版本 [hamad2022consistently] 相比，我们的改进方法包括若干实用性提升。这些修改显著提升了性能，包括墙钟时间的几何均值移位量约降低一个数量级。我们还表明，即使在迭代发散的情况下，只要二阶导数局部 Lipschitz 连续，即可保证最小梯度范数收敛至零或目标值趋向负无穷。