分布式重球法：带梯度跟踪的一阶方法之推广与加速

我们研究分布式优化，以最小化一个全局目标，该目标是光滑且强凸的局部代价函数之和。近来，针对无向图和有向图提出了若干使用梯度跟踪方法以线性收敛到全局极小点的算法。然而，这些不同方法之间的联系尚不清楚。在本文中，我们首先表明许多现有的一阶算法实际上通过一个简单的状态变换相关联，其核心是 $\mathcal{AB}$ 算法。然后我们描述\textit{分布式重球法}，记为 $\mathcal{AB}m$，即带动量的 $\mathcal{AB}$，它将梯度跟踪与动量项结合，并使用非一致的局部步长。通过同时实现行随机和列随机权重，$\mathcal{AB}m$ 消除了相关工作中因双随机权重或特征向量估计带来的保守性。$\mathcal{AB}m$ 因此自然导出了无向图与有向图上的优化与平均一致性，对任意强连通图上若干知名一致性算法给出了统一框架。我们证明当最大步长为正且足够小时，$\mathcal{AB}m$ 具有全局 $R$-线性速率。遵循重球法文献中的标准做法，我们通过数值表明 $\mathcal{AB}m$ 在目标函数病态时尤其实现了加速收敛。