鲁棒异步随机梯度推进:强凸函数下渐近最优且与网络无关的性能

我们考虑分布式优化标准模型 $F(\bz) = \sum_{i=1}^n f_i(\bz)$,其中网络中节点 $i$ 持有函数 $f_i(\bz)$。我们允许一种严苛的网络模型,其特征是异步更新、消息延迟、不可预测的消息丢失以及节点间有向通信。在此设定下,我们分析一种针对分布式优化的梯度推进(Gradient-Push)方法的改进版,假设:\begin{enumerate*}[label=(\roman*)] \item 节点 $i$ 能够在每一步生成其函数 $f_i(\bz)$ 的梯度,该梯度被零均值有界支撑加性噪声所腐蚀, \item $F(\bz)$ 是强凸的,且 \item 每个 $f_i(\bz)$ 具有 Lipschitz 梯度。我们证明,我们提出的方法渐近表现与集中式梯度下降的最佳界一样好,该集中式梯度下降在每一步沿所有函数 $f_1(\bz), \ldots, f_n(\bz)$ 带噪声梯度之和的方向步进。