去中心化随机优化的原始-对偶框架

我们考虑去中心化凸优化问题,其中多个智能体必须协作最小化累积目标函数,每个局部函数可表示为数据依赖损失的经验平均。最先进的去中心化优化方法依赖梯度跟踪,通过双随机混合矩阵强制共识。此类混合矩阵的构造并不简单,甚至在优化算法启动前就需要协调。本文提出一种去中心化随机优化的原始-对偶框架,免除了对此类双随机矩阵的需求。相反,维护对偶变量以跟踪邻居间的不一致。所提框架灵活,用于开发 SAGA、L-SVRG、SVRG++ 和 SEGA 算法的去中心化变体。通过统一证明,我们确立这些去中心化变体的预言机复杂度为 $O(1/\epsilon)$,与集中式变体所得复杂度界匹配。此外,我们还提出一种去中心化原始-对偶加速 SVRG 算法,达到 $O(1/\sqrt{\epsilon})$ 预言机复杂度,再次与集中式加速 SVRG 的界匹配。算法的数值测试确立了其相对于方差缩减梯度跟踪算法的优越性能。