随机proximal算法最后一个迭代的收敛速率

我们分析了两个用于解决 additively composite convex optimization problems 的经典算法，其中目标是 smooth term 与 nonsmooth regularizer 的和：proximal stochastic gradient method 用于 single regularizer；randomized incremental proximal method 使用随机选择函数的 proximal operator，当 regularizer 由许多 nonsmooth functions 的 sum 表示时。我们 focus on 放宽 common 但 stringent 的 bounded variance 假设，以获得 last iterate convergence rates。我们在 componentwise convexity 和 smoothness 下，证明了 both algorithms 的 last iterate 具有 $\widetilde{O}(1/\sqrt{T})$ 的收敛速率，这在 log terms 上是 optimal 的。我们的 results 直接适用于 graph-guided regularizers，这些 regularizers 出现在 multi-task 和 federated learning 中，regularizer 作为 collaboration graph 边的 sum 进行 decomposition。