关于半代数函数子梯度下降的收敛率

我们分析非光滑、非凸函数上的常步长梯度法。我们识别目标函数下满足以下几何假设的条件：i) 其域可划分为光滑流形 (层)上的分割 (分层)，在这些层上函数光滑；ii) 克拉克子梯度存在全局投影公式；iii) 每个层上存在定量曲率界限。在满足这些条件下，我们证明梯度法的迭代在局部投影到相邻层上的Riemannian梯度下降，从而用于衡量 stationarity。我们引入用于选择活跃层的选择规则，并发展一种机制，将连续层上的局部下降不等式组合成显式收敛率。这些率以分层中维数数的函数表示，随层数减少而改善，并在光滑情形下（常数因子内）恢复经典收敛率。我们指出，上述假设源自半代数集的 Lipschitz 分层，因而对半代数函数以及更广泛地说，对在多项式有界 o-完整结构中可定义的函数自动成立，因而获得了这些设置下首次已知的收敛率。作为独立兴趣的中间结果，我们建立了 Lipschitz 分层的管状邻域估计和克拉克子梯数的全局投影公式。最后，我们表明我们的框架可推广至递减步长，并通过另一种论证恢复了 Lai 和 Song 最近宣布的子梯度法具有步长 1/k 时的顺序收敛结果。