梯度推送算法的收敛性结果及其在加速 Push-DIGing 算法中的应用

梯度推送算法是求解分布式优化问题 \begin{equation} \min_{x \in \mathbb{R}^d} f(x) = \sum_{j=1}^n f_j (x), \end{equation} 的一个基本算法，其中每个局部代价 $f_j$ 仅对智能体 $a_i$ ($1 \leq i \leq n$) 已知，且智能体通过一个有向图连接。本文获得了具有常数步长的梯度推送算法的收敛性结果，其步长范围在光滑常数 $L>0$ 的量级上是精确的。具体而言，在两种设定下：1) 每个局部代价 $f_i$ 是强凸且 $L$-光滑的，2) 每个局部代价 $f_i$ 是凸二次且 $L$-光滑的，而总代价 $f$ 是强凸的，我们证明步长为 $\alpha>0$ 的梯度推送算法对于 $\alpha \in (0, c/L]$ 的范围（其中 $c>0$ 独立于 $L>0$）收敛到 $f$ 极小点的 $O(\alpha)$-邻域。作为该结果的一个益处，我们提出一种混合算法，该算法先以相对较大的步长 $\alpha>0$ 执行梯度推送算法若干次迭代，然后转而执行 Push-DIGing 算法。数值实验验证了该混合算法显著提升了 Push-DIGing 算法的性能。梯度推送算法的收敛性结果也得到了数值实验的支持。