通信延迟下有限和优化的分布式梯度方法收敛速率研究
最优化与控制
2019-05-14 v3
摘要
受机器学习和统计应用的推动，我们研究处理器网络上的分布式优化问题，其目标是优化由局部函数之和组成的全局目标。在这些问题中，由于数据集规模庞大，数据和计算必须分布在处理器上，从而需要分布式算法。本文考虑一种流行的基于梯度的分布式共识算法，它仅需局部计算和通信。该领域的一个重要问题是在分布式系统中不可避免的通信延迟存在时分析此类算法的收敛速率。我们证明了在处理器之间存在均匀的、但可能任意大的通信延迟的情况下，基于梯度的共识算法的收敛性。此外，我们得到了算法收敛速率的上界，该上界是网络规模、拓扑结构和处理器间通信延迟的函数。
引用
@article{arxiv.1708.03277,
title = {On the convergence rate of distributed gradient methods for finite-sum optimization under communication delays},
author = {Thinh T. Doan and Carolyn L. Beck and R. Srikant},
journal= {arXiv preprint arXiv:1708.03277},
year = {2019}
}