无强凸性假设的正则化拟牛顿法的收敛速率

在本文中，我们研究了三次正则化近端拟牛顿法（Cubic SR1 PQN）用于求解非光滑可加复合问题的收敛速率，该问题满足关于某个去奇异化函数 $\phi$ 的所谓 Kurdyka-Łojasiewicz（KŁ）性质，而非强凸性。经过一定次数 $k_0$ 的迭代后，Cubic SR1 PQN 对任意 $k\geq k_0$ 表现出非渐近显式超线性收敛速率。特别地，当 $\phi(t)=ct^{1/2}$ 时，Cubic SR1 PQN 的收敛速率阶为 $\left(\frac{C}{(k-k_0)^{1/2}}\right)^{(k-k_0)/2}$，其中 $k$ 为迭代次数，$C>0$ 为常数。对于特殊情况，即满足 Łojasiewicz 不等式的函数，该速率成为全局且非渐近的。本工作首次提出了应用于具有 KŁ 性质的非凸非光滑问题的正则化（近端）SR1 拟牛顿法的非渐近显式收敛速率。实际上，即使在光滑非凸情况下，该速率也是新颖的。值得注意的是，我们在没有采用线搜索或信赖域策略、没有假设 Dennis-Moré 条件、没有任何关于拟牛顿度量的假设以及没有假设强凸性的情况下实现了这一点。此外，对于凸问题，我们关注一种更易处理的梯度正则化拟牛顿法（Grad SR1 PQN），该方法能够取得与三次正则化相似的结果。我们同样首次证明了，在 Łojasiewicz 不等式的帮助下，Grad SR1 PQN 求解凸问题时具有非渐近超线性收敛速率，而无需强凸性。