一种用于分散式非凸优化的快速随机增量梯度法
最优化与控制
2021-10-04 v3 机器学习
系统与控制
系统与控制
机器学习
摘要
我们研究定义在节点网络上的分散式非凸有限和最小化问题，其中每个节点拥有本地一批数据样本。在此背景下，我们分析一种单时间尺度的随机增量梯度方法，称为 GT-SAGA。GT-SAGA 计算高效，因为它在每次迭代中每个节点仅计算一个分量梯度，并通过利用节点级方差缩减和网络级梯度跟踪实现了可证明的快速且鲁棒的性能。对于一般的光滑非凸问题，我们展示了 GT-SAGA 几乎必然和均方收敛到一阶驻点，并进一步描述了具有实际意义的若干情形，在这些情形中它优于现有方法且分别达到了与网络拓扑无关的迭代复杂度。当全局函数满足 Polyak-Lojasiewicz 条件时，我们证明 GT-SAGA 在期望中线性收敛到最优解，并描述了具有实际意义的若干情形，其中性能与网络拓扑无关且优于现有方法。数值实验用以凸显 GT-SAGA 在非凸设定下的主要收敛特性。
引用
@article{arxiv.2011.03853,
title = {A fast randomized incremental gradient method for decentralized non-convex optimization},
author = {Ran Xin and Usman A. Khan and Soummya Kar},
journal= {arXiv preprint arXiv:2011.03853},
year = {2021}
}
备注
Accepted in IEEE Transactions on Automatic Control