基于 Newton-CG 的增广拉格朗日方法求解非凸等式约束优化二阶平稳点及其复杂度保证

本文考虑在已知近似可行点的情况下，求非凸等式约束优化的二阶平稳点（SOSP）。具体地，我们首先提出一种新的 Newton-CG 方法用于求无约束优化的近似 SOSP，并证明其复杂度显著优于 Newton-CG 方法[56]。随后我们提出一种基于 Newton-CG 的增广拉格朗日（AL）方法，用于求非凸等式约束优化的近似 SOSP，其中将上述 Newton-CG 方法用作子问题求解器。我们证明在广义线性独立约束规范（GLICQ）下，我们的 AL 方法以高概率求非凸等式约束优化的 $(\epsilon,\sqrt{\epsilon})$-SOSP 的总内迭代复杂度为 $\widetilde{\cal O}(\epsilon^{-7/2})$，运算复杂度为 $\widetilde{\cal O}(\epsilon^{-7/2}\min\{n,\epsilon^{-3/4}\})$，显著优于近端 AL 方法[60]的结果。此外，我们证明当 GLICQ 不成立时，其总内迭代复杂度为 $\widetilde{\cal O}(\epsilon^{-11/2})$，运算复杂度为 $\widetilde{\cal O}(\epsilon^{-11/2}\min\{n,\epsilon^{-5/4}\})$。据我们所知，本文获得的所有复杂度结果对于以高概率求非凸等式约束优化的近似 SOSP 均为新的。初步数值结果也展示了我们所提方法相对于[56,60]中方法的优越性。