消除数据异构影响增强了去中心化 SGD 对网络拓扑的依赖性

我们考虑去中心化随机优化问题，其中由 $n$ 个节点组成的网络，每个节点拥有局部代价函数，协作寻找全局平均代价的最小化子。该问题一个被广泛研究的去中心化算法是去中心化 SGD（D-SGD），其中每个节点仅与邻居平均。D-SGD 在单次迭代通信上高效，但对网络拓扑非常敏感。对于光滑目标函数，D-SGD 的瞬态阶段（衡量算法在达到线性加速阶段前必须经历的迭代次数）对于强凸和一般凸代价函数分别为 ${\Omega}(n/(1-\beta)^2)$ 和 $\Omega(n^3/(1-\beta)^4)$ 阶，其中 $1-\beta \in (0,1)$ 是一个依赖于拓扑的量，对于大而稀疏的网络趋于 $0$。因此，D-SGD 在大而稀疏的网络上收敛缓慢。在本工作中，我们研究 D$^2$/Exact-diffusion 算法的非渐近收敛性质。通过消除节点间数据异构的影响，D$^2$/Exact-diffusion 被证明具有增强的瞬态阶段，对于强凸和一般凸代价函数分别为 $\tilde{\Omega}(n/(1-\beta))$ 和 $\Omega(n^3/(1-\beta)^2)$ 阶。此外，当 D$^2$/Exact-diffusion 以梯度累积与多轮 gossip 通信实现时，其瞬态阶段可进一步改善为对于强凸和一般凸代价函数分别为 $\tilde{\Omega}(1/(1-\beta)^{\frac{1}{2}})$ 和 $\tilde{\Omega}(n/(1-\beta))$ 阶。相较于现有去中心化算法，这些为 D$^2$/Exact-Diffusion 建立的结果具有我们所知最好的（即最弱的）对网络拓扑的依赖性。我们还进行了数值模拟以验证我们的理论。