任意图上的分布式Nesterov梯度方法
机器学习
2019-09-04 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
在这封信中，我们引入一种称为的分布式Nesterov方法，它不需要双随机权重矩阵。相反，其实现基于行随机和列随机权重的同步应用，这使得该方法适用于任意（强连通）图。由于构建列随机权重需要额外信息（每个智能体的出度邻居数量），在某些通信协议中不可得，我们推导出一种变体，称为FROZEN，它仅需要行随机权重，但代价是特征向量学习需要额外迭代。我们针对各种目标函数和网络参数对这些算法进行了数值研究，并表明所提出的分布式Nesterov方法相比当前最先进的分布式优化方法实现了加速。
引用
@article{arxiv.1901.06995,
title = {Distributed Nesterov gradient methods over arbitrary graphs},
author = {Ran Xin and Dusan Jakovetic and Usman A. Khan},
journal= {arXiv preprint arXiv:1901.06995},
year = {2019}
}