稀疏化作为分布式异步SGD中陈旧性的补救方法
机器学习
2021-01-19 v3 机器学习
摘要
大规模机器学习日益依赖于分布式优化，即多台机器共同贡献于统计模型的训练过程。在这项工作中，我们研究了在应用稀疏化（一种用于降低通信开销的技术）时，异步分布式设置的性能。特别地，我们首次在异步非凸设置中从理论证明了，在存在陈旧性的情况下，稀疏化不会损害SGD性能：遍历收敛速率与标准SGD的已知结果相匹配，即 。我们还进行了实证研究以补充我们的理论，并确认与“ vanilla” SGD相比，即使在异步分布式系统这一具有挑战性的场景下，稀疏化对收敛速率的影响也是可忽略的。
引用
@article{arxiv.1910.09466,
title = {Sparsification as a Remedy for Staleness in Distributed Asynchronous SGD},
author = {Rosa Candela and Giulio Franzese and Maurizio Filippone and Pietro Michiardi},
journal= {arXiv preprint arXiv:1910.09466},
year = {2021}
}