Kurdyka-Łojasiewicz不等式下随机重排的收敛性

我们研究具有有限和结构的光滑非凸优化问题的随机重排(RR)方法。尽管该方法在诸如神经网络训练等实践中被广泛使用，其收敛行为仅在若干有限情形下被理解。在本文中，在著名的Kurdyka-Lojasiewicz (KL)不等式下，我们为采用适当递减步长的RR建立了强极限点收敛结果，即RR生成的整个迭代序列是收敛的，并且在几乎必然意义下收敛到唯一的驻点。此外，我们推导了相应的收敛速率，其依赖于KL指数和恰当选取的递减步长。当KL指数位于$[0,\frac12]$时，收敛速率为$\mathcal{O}(t^{-1})$，其中$t$为迭代次数。当KL指数属于$(\frac12,1)$时，我们推导的收敛速率形式为$\mathcal{O}(t^{-q})$，其中$q\in (0,1)$依赖于KL指数。标准的基于KL不等式的收敛分析框架仅适用于具有某种下降性质的算法。我们基于KL不等式对具有递减步长的非下降RR方法进行了新颖的收敛分析，推广了标准KL框架。我们在一个非正式的分析框架中总结了主要步骤和核心思想，其本身具有独立意义。作为该框架的直接应用，我们还为重排邻近点法建立了类似的强极限点收敛结果。