用于相对光滑凸优化的加速 Bregman 邻近梯度法

我们考虑最小化两个凸函数之和的问题：其中一个关于参考凸函数可微且相对光滑，另一个可以不可微但易于优化。我们研究了由参考凸函数生成的 Bregman 距离的三角缩放性质，并提出了达到 $O(k^{-\gamma})$ 收敛速度的加速 Bregman 邻近梯度（ABPG）方法，其中 $\gamma\in(0,2]$ 是 Bregman 距离的三角缩放指数（TSE）。对于欧氏距离，我们有 $\gamma=2$ 并恢复了 Nesterov 加速梯度方法的收敛速度。对于非欧氏 Bregman 距离，TSE 可以小得多（例如 $\gamma\leq 1$），但我们证明内在 TSE 的放宽定义恒等于 2。我们利用内在 TSE 来发展自适应 ABPG 方法，其在实践中收敛快得多。尽管一般情况下快速收敛速度的理论保证似乎难以获得，我们的方法在若干应用的数値实验中获得了经验的 $O(k^{-2})$ 速度，并为快速速度提供了后验数值证书。