可扩展的自适应三次正则化方法

用于无约束优化的自适应三次正则化（ARC）方法按照 Levenberg-Marquardt 与信赖域方法的思想，通过求解涉及偏移 Hessian 的线性系统来计算步长。标准方法包括迭代搜索偏移量，类似于在信赖域方法中求解久期方程。这种搜索需要在每次迭代时对试探性偏移 Hessian 计算 Cholesky 分解，从而限制了可合理考虑的问题规模。我们提出了一种名为 ARCqK 的可扩展 ARC 实现，其中通过对共轭梯度（CG）方法的 Lanczos 公式进行适当修改，并发求解一组偏移系统。在 ARCqK 的每次迭代中，为求解含 n 个变量的问题，选取 m << n 个偏移参数范围。CG 中超出 Lanczos 过程的计算开销为十三个标量操作，用于更新长度为 m 的五个向量以及针对每个偏移值的两次 n 维向量更新。该 CG 变体每次迭代仅需一次 Hessian-向量积和一次点积，与偏移参数数量无关。对应于不适当偏移参数的求解被提前中断。所有偏移系统均被不精确地求解。如此微小的代价使我们的实现具有可扩展性并适用于大规模问题。我们给出了不精确 ARC 方法的新分析，包括其最坏情况计算复杂度、全局与渐近收敛性。我们描述了我们的实现，并提供了初步的数值观测，证实对于规模至少为 100 的问题，我们的 ARCqK 实现比经典的 Steihaug-Toint 信赖域方法更高效。最后，我们将收敛结果推广到不精确 Hessian 与非线性最小二乘问题。