分布式次梯度方法的渐近网络独立性与步长

我们考察分布式次梯度方法能否相比集中式次梯度方法实现线性加速。尽管人们可能期望由 $n$ 个节点组成的分布式网络相比单节点可并行计算多 $n$ 倍的子梯度，从而快 $n$ 倍，但现有分布式优化方法的界往往与单节点相比的减速而非加速相一致。我们证明，当使用一类平方可和但不可和的步长（包括当 $\beta \in (1/2,1)$ 时的 $1/t^{\beta}$）时，分布式次梯度方法具有此“线性加速”性质；对于此类步长，我们证明在依赖于网络谱间隙大小的瞬态期之后，该方法达到的性能保证不依赖于网络或节点数。我们还证明，在相同方法下，使用最优衰减步长 $1/\sqrt{t}$ 时可能不具备此“渐近网络独立性”性质，并因此相比使用 $1/\sqrt{t}$ 步长的单节点可能无法提供线性加速。