非凸信任区域子问题求解的准牛顿法与 Krylov 方法
最优化与控制
2026-05-25 v1
摘要
我们研究了通过一系列完全和有限记忆方法求解对称正定线性系统的问题。我们的贡献有三个方面。首先，我们推导了关于共轭梯度法（CG）和 Broyden 类准牛顿方法之间新关系，澄清了这些方法何时生成相同的迭代步骤并享有二次终止。我们将这种视角扩展到有限记忆 BFGS（LBFGS）方法。接下来，我们检讨了 DIOM——一种有限记忆版完全正交化 Krylov 方法（FOM）的变体——如何类似于 LBFGS，以提供在实际性能中至关重要的记忆杠杆。最后，我们将 LBFGS 和 DIOM 推广到求解无约束、可能非凸、优化问题的信任区域步骤。我们报告了在正定线性系统和无约束优化问题上的数值经验。结果表明，记忆是关键算法杠杆：LBFGS 和 DIOM 在鲁棒性上均优于 CG，且在需要更高精度或 Hessian 操作受限的情况下，往往以更少的 Hessian 向量乘积实现可比精度。它们成为 CG 的可行替代方案。有限记忆 SR1（LSR1）方法在全记忆形式下可与之竞争，但其有限记忆版本因被丢弃的曲率信息而受限。
引用
@article{arxiv.2605.23761,
title = {Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems},
author = {Johann Bourhis and Oihan Cordelier and Jean-Pierre Dussault and Oussama Mouhtal and Dominique Orban},
journal= {arXiv preprint arXiv:2605.23761},
year = {2026}
}