三次正则子问题的近似 secular 方程

三次正则化方法(CR)是无约束非凸优化的一种流行算法。在每次迭代中,CR 求解一个三次正则化二次问题,称为三次正则子问题(CRS)。求解 CRS 的一种方法是依赖 secular 方程,其计算瓶颈在于 Hessian 矩阵所有特征值的计算。本文提出并分析了一种基于近似 secular 方程的新型 CRS 求解器,它仅需部分 Hessian 特征值,因此效率更高。我们发展了两种近似 secular 方程(ASE)。对两种 ASE,我们首先研究其根的存在性与唯一性,然后建立根与标准 secular 方程根之间差距的上界。该上界进而可用于界定基于 ASE 的近似 CRS 解与真实 CRS 解之间的距离,从而为我们的 CRS 求解器提供理论保证。我们 CRS 求解器的一个理想特性是只需矩阵-向量乘法而无需矩阵求逆,这使其特别适用于无约束非凸优化的高维应用,如低秩恢复与深度学习。我们使用合成与真实数据集进行了数值实验以考察所提 CRS 求解器的实际性能。实验结果表明该求解器优于两种最先进的方法。