基于行随机与列随机权重的有向图上方差缩减随机优化
最优化与控制
2022-02-08 v1 多智能体系统
机器学习
摘要
本文提出 AB-SAGA,一种一阶分布式随机优化方法,用于最小化分布于任意有向图上的有限和光滑强凸函数。AB-SAGA 通过节点级方差缩减消除随机梯度带来的不确定性,随后采用网络级梯度跟踪来解决节点间的数据异构性。与现有使用非线性 push-sum 校正来抵消有向通信引起的不平衡的方法不同,AB-SAGA 中的共识更新是线性的,并使用行随机与列随机权重。我们证明了在恒定步长下,AB-SAGA 线性收敛到全局最优。我们使用显式的方向性常数来量化底层图的有向性质,并刻画了 AB-SAGA 相比其集中式对应方法实现线性加速的 regime。数值实验说明了 AB-SAGA 在强凸和非凸问题上的收敛性。
引用
@article{arxiv.2202.03346,
title = {Variance reduced stochastic optimization over directed graphs with row and column stochastic weights},
author = {Muhammad I. Qureshi and Ran Xin and Soummya Kar and Usman A. Khan},
journal= {arXiv preprint arXiv:2202.03346},
year = {2022}
}