部分异步计算机集群的分布式近端梯度算法
最优化与控制
2017-04-13 v1
摘要
随着数据量和模型规模不断增长，一种容错、通信高效且通用的分布式算法对于许多大规模机器学习应用的成功至关重要。在这项工作中，我们提出m-PAPG，一种在配备部分异步通信协议的模型并行系统中灵活近端梯度算法的实现。工作机器以受控的陈旧度界限异步通信并以不同频率运行。我们刻画了m-PAPG的各种收敛性质：1)在一般非光滑非凸设置下，我们证明m-PAPG生成的序列的每个极限点都是目标函数的临界点；2)在误差界条件下，我们证明函数值每步线性衰减；3)在Kurdyka-Łojasiewicz不等式下，我们证明只要满足近端Lipschitz条件，m-PAPG生成的序列收敛到相同的临界点。
引用
@article{arxiv.1704.03540,
title = {Distributed Proximal Gradient Algorithm for Partially Asynchronous Computer Clusters},
author = {Yi Zhou and Yaoliang Yu and Wei Dai and Yingbin Liang and Eric P. Xing},
journal= {arXiv preprint arXiv:1704.03540},
year = {2017}
}