理解陈旧性在分布式机器学习中的影响
机器学习
2018-10-09 v1 分布式、并行与集群计算
机器学习
摘要
许多分布式机器学习（ML）系统采用非同步执行以缓解网络通信瓶颈，从而导致不能反映最新更新的陈旧参数。尽管大规模ML取得了诸多进展，但由于在复杂分布式环境中直接监测或控制陈旧性具有挑战性，陈旧性对学习的影响仍无定论。在本工作中，我们研究了广泛ML模型与算法在延迟更新下的收敛行为。我们大量的实验揭示了陈旧性对ML算法收敛影响的丰富多样性，并对文献中看似矛盾的报告提供了见解。这些实证发现还启发了非凸优化下随机梯度下降在陈旧性时的新收敛分析，其匹配已知最优收敛速率O(1/\sqrt{T})。
引用
@article{arxiv.1810.03264,
title = {Toward Understanding the Impact of Staleness in Distributed Machine Learning},
author = {Wei Dai and Yi Zhou and Nanqing Dong and Hao Zhang and Eric P. Xing},
journal= {arXiv preprint arXiv:1810.03264},
year = {2018}
}
备注
19 pages, 12 figures