非凸优化中随机子空间二阶算法收敛保证的改进

近年来，随机子空间方法被积极研究用于大规模非凸问题。近期的子空间方法通过在随机选取的低维子空间中导出下降方向，提高了理论保证，如迭代复杂度和局部收敛率，同时降低了计算成本。本文提出了一种 Random Subspace Homogenized Trust Region (RSHTR) 方法，目前是非凸优化中随机子空间算法中理论保证最好的。RSHTR 在 $O(\varepsilon^{-3/2})$ 次迭代内达到 $\varepsilon$ 近似的一阶稳态点，局部收敛率为线性。此外，在秩不足条件下，RSHTR 在 $O(\varepsilon^{-3/2})$ 次迭代内满足 $\varepsilon$ 近似的二阶必要条件，具有局部二次收敛。实验在真实数据集上验证了 RSHTR 的优势。