用于去中心化复合优化的具有概率多次 Gossip 通信的近端梯度方法

具有局部更新的去中心化优化方法最近因其可证明的通信加速能力而受到关注。在这些方法中，节点在通信轮次之间执行若干次局部计算迭代。然而，这种能力仅在网络连接足够好且损失函数平滑时才有效。在本文中，我们提出了一种通信高效的方法 MG-Skip，它具有概率局部更新和多次 Gossip 通信，用于去中心化复合（平滑+非平滑）优化，其步长独立于局部更新次数和网络拓扑。对于任何无向连通网络，MG-Skip 在强凸设置下允许在大多数迭代中跳过多次 Gossip 通信，而其计算复杂度为 $\mathcal{O}\left(\kappa \log \frac{1}{\epsilon}\right)$，通信复杂度仅为 $\mathcal{O}\left(\sqrt{\frac{\kappa}{(1-\rho)}} \log \frac{1}{\epsilon}\right)$，其中 $\kappa$ 是损失函数的条件数，$\rho$ 反映网络拓扑的连通性，$\epsilon$ 是目标精度。理论结果表明 MG-Skip 实现了可证明的通信加速，从而验证了局部更新在非平滑设置中的优势。