PMGT-VR：一种带方差缩减的去中心化近端梯度算法框架
最优化与控制
2021-06-08 v2 人工智能
摘要
本文考虑去中心化复合优化问题。我们提出一种新颖的去中心化方差缩减近端梯度算法框架，称为PMGT-VR，其基于多共识、梯度跟踪与方差缩减等多种技术的结合。所提框架依赖于对中心化算法的模仿，我们证明了该框架下的算法可达到与其中心化对应算法相似的收敛速率。我们还描述并分析了两种代表性算法PMGT-SAGA与PMGT-LSVRG，并将其与现有最先进的近端算法进行比较。据我们所知，PMGT-VR是首个可求解去中心化复合优化问题的线性收敛去中心化随机算法。数值实验证明了所提算法的有效性。
引用
@article{arxiv.2012.15010,
title = {PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction},
author = {Haishan Ye and Wei Xiong and Tong Zhang},
journal= {arXiv preprint arXiv:2012.15010},
year = {2021}
}
备注
16 pages, 4 figures