Push-SAGA：有向图上具有方差缩减的分散式随机算法
机器学习
2020-10-26 v2 分布式、并行与集群计算
多智能体系统
系统与控制
系统与控制
机器学习
摘要
在本文中，我们提出 Push-SAGA，一种用于节点有向网络上有限和最小化的分散式随机一阶方法。Push-SAGA 结合了节点级方差缩减以消除随机梯度引起的不确定性、网络级梯度跟踪以应对数据的分布式特性，以及 push-sum 共识来处理有向通信链路的挑战。我们证明，对于光滑且强凸问题，Push-SAGA 能够线性收敛到精确解，因此是首个在任意强连通有向图上线性收敛的随机算法。我们还刻画了 Push-SAGA 相比其中心化对应方法实现线性加速并达到与网络无关收敛速率的 regimes。我们通过强凸和非凸问题的数值实验说明了 Push-SAGA 的行为与收敛性质。
引用
@article{arxiv.2008.06082,
title = {Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs},
author = {Muhammad I. Qureshi and Ran Xin and Soummya Kar and Usman A. Khan},
journal= {arXiv preprint arXiv:2008.06082},
year = {2020}
}