用于非 Lipschitz 优化的随机 Bregman 坐标下降方法

我们提出一种新的随机 Bregman（块）坐标下降（RBCD）方法，用于最小化复合问题，其中目标函数可为凸或非凸，且光滑部分免于全局 Lipschitz 连续（偏）梯度假设。基于 Bregman 距离的相对光滑性概念，我们证明所生成序列的任一极限点均为驻点。进一步，我们证明所提方法的迭代复杂度为 $O(n\varepsilon^{-2})$ 以达到 $\epsilon$-驻点，其中 $n$ 为坐标块数。若假设目标为凸，则迭代复杂度改进为 $O(n\epsilon^{-1} )$。若此外目标为强凸（相对于参考函数），则恢复全局线性收敛速率。我们还给出了 RBCD 方法的加速版本，对于凸情形达到 $O(n\varepsilon^{-1/\gamma} )$ 的迭代复杂度，其中标量 $\gamma\in [1,2]$ 由 Bregman 距离的广义平移变体决定。不假设全局 Lipschitz 连续（偏）梯度的收敛分析使我们的结果区别于复合问题中的现有工作。