面向时变有向网络的加速分布式随机非凸优化

分布式随机非凸优化问题近年来受到关注，因为信号处理、计算机视觉和自然语言处理社区对部署在分布式学习系统（如联邦学习）中的应用日益增长。我们研究的设置中，数据分布在时变有向网络的节点上，这种拓扑结构适用于建模具有通信延迟和减速器效应的动态网络。网络节点仅可访问各自的局部目标，并通过查询随机一阶oracle获取梯度估计值，通过与邻居交换消息来协同最小化全局目标函数。我们提出一种算法，针对该设置的新颖方法，利用带动量的随机梯度下降和梯度跟踪来解决时变网络上的分布式非凸优化问题。为分析该算法，我们解决了在分析动态网络系统时处理梯度加速组件的挑战。我们证明该算法的oracle复杂度为 $\mathcal{O}(1/\epsilon^{1.5})$，在Polyak-$\L$ojasiewicz条件下，算法对准稳态误差线性收敛。该方案在多个学习任务上进行测试：在MNIST数据集上进行非凸逻辑回归实验，在CIFAR-10数据集上进行图像分类任务，在IMDB数据集上进行NLP分类测试。我们进一步对满足PL条件的目标进行数值仿真。结果表明，所提出的框架在已有相关方法之上表现出优越性能。