测度空间上凸优化的梯度方法收敛速率

我们研究了 $d$ 维流形上测度空间中凸优化的 Bregman 梯度方法的收敛速率。在基本正则性假设下，我们证明了对于乘性更新，第 $k$ 次迭代的次优间隙为 $O(log(k)k^{--1})$，而对于加性更新，其为 $O(k^{--q/(d+q)})$，其中 $q \in {1, 2, 4}$ 由目标函数的结构决定。我们基于逼近论证的灵活证明策略，使我们能够轻松涵盖所有 Bregman 近端梯度方法（PGM）及其加速（APGM），并在双曲熵和 $L^p$ 散度等各种几何下成立。我们还通过匹配的下界证明了我们分析的最优性，并用低维问题的数值实验证实了理论结果。请注意，所有这些优化方法还必须额外付出离散化的计算代价，该代价在 $d$ 上可能是指数级的。