机器学习分布式随机优化中的渐近网络无关性
最优化与控制
2020-02-19 v5 分布式、并行与集群计算
机器学习
多智能体系统
摘要
我们讨论了近期若干能够在某些场景下克服机器学习分布式随机优化中一个壁垒的结果。我们的焦点是所谓的渐近网络无关性性质，当在 n 个节点网络上执行的分布式方法渐近地以与具有整个网络相同计算能力的集中式方法相当的速度收敛到最优解时，即达到该性质。我们通过一个涉及 ML 模型训练的例子解释这一性质，并给出简要的数学分析以比较分布式随机梯度下降（DSGD）与集中式随机梯度下降（SGD）的性能。
引用
@article{arxiv.1906.12345,
title = {Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning},
author = {Shi Pu and Alex Olshevsky and Ioannis Ch. Paschalidis},
journal= {arXiv preprint arXiv:1906.12345},
year = {2020}
}