一种求解三次正则化子问题的复杂度分析的加速一阶方法

我们基于一种新颖的重构提出了一种求解三次正则化子问题（CRS）的一阶方法。该重构是一个约束凸优化问题，其可行域允许易于计算的投影。我们的重构需要计算 Hessian 的最小特征值。为避免精确最小特征值的昂贵计算，我们针对该重构开发了一个替代问题，其中精确最小特征值被一个近似特征值所替代。然后我们应用如 Nesterov 加速投影梯度法（APG）和投影 Barzilai-Borwein 法之类的一阶方法来求解该替代问题。作为我们主要的理论贡献，我们证明了当由 Lanczos 方法计算出一个 $\epsilon$-近似最小特征值、且替代问题由 APG 近似求解时，我们的方法在 $\tilde O(\epsilon^{-1/2})$ 次矩阵-向量乘法（其中 $\tilde O(\cdot)$ 隐藏了对数因子）内返回一个 CRS 的 $\epsilon$-近似解。数值实验表明，我们的方法在简单和困难情形下分别可与 Krylov 子空间方法相媲美并优于之。我们进一步将我们的方法实现为自适应三次正则化方法的子问题求解器，数值结果表明我们的算法可与最先进的算法相媲美。