S-DIGing:一种用于分布式优化的随机梯度跟踪算法

本文研究凸优化问题,其中网络中的智能体协作最小化由多个局部目标函数组成的全局目标函数。与大多数现有工作不同,每个智能体的局部目标函数表示为有限个瞬时函数的平均。本工作的意图是解决局部目标函数复杂且数量庞大的大规模优化问题。将梯度跟踪算法与随机平均梯度技术相融合,我们提出了一种新颖的分布式随机梯度跟踪(称为S-DIGing)算法。在每个时刻,仅计算并应用一个随机选取的瞬时函数梯度来近似局部目标函数的梯度。基于S-DIGing算法的原始-对偶解释,我们证明了在步长位于显式区间内的条件下,且假设瞬时函数强凸且具有Lipschitz连续梯度时,S-DIGing算法线性收敛到全局最优解。给出了关于逻辑回归问题的数值实验,以证明该算法的实用性及理论结果的正确性。