具有方差缩减的分布式随机梯度跟踪算法及其在非凸优化中的应用

本文针对一般光滑非凸有限和优化提出一种具有方差缩减的分布式随机算法,该问题在信号处理与机器学习领域有广泛应用。在分布式设定下,大量样本被分配至网络中的多个智能体。每个智能体计算局部随机梯度并与邻居通信以寻求全局最优。本文发展了一种改进的方差缩减技术来处理随机梯度引入的方差。结合梯度跟踪与方差缩减技术,本文提出一种分布式随机算法 GT-VR,以求解多智能体网络上的大规模非凸有限和优化。完整且严格的证明表明 GT-VR 算法以 $O(\frac{1}{k})$ 收敛速率收敛至一阶平稳点。此外,我们给出了所提算法的复杂度分析。与一些现有的一阶方法相比,在温和条件下所提算法具有更低的 $\mathcal{O}(PM\epsilon^{-1})$ 梯度复杂度。通过在实验仿真中对比前沿算法与 GT-VR,我们验证了所提算法的有效性。