协作 SGD：通信高效 SGD 算法设计与分析的统一框架
机器学习
2019-01-28 v3 分布式、并行与集群计算
机器学习
摘要
通信高效的 SGD 算法允许节点执行本地更新并周期性同步本地模型，在提升分布式 SGD 速度与可扩展性方面极为有效。然而，对不同通信缩减策略的严格收敛分析及比较研究在很大程度上仍是开放问题。本文提出一个名为协作 SGD（Cooperative SGD）的统一框架，其涵盖了周期性平均、弹性平均和去中心化 SGD 等现有通信高效 SGD 算法。通过分析协作 SGD，我们为现有算法提供了新的收敛保证。此外，该框架使我们能够设计新的通信高效 SGD 算法，在降低通信开销与以低误差下限实现快速误差收敛之间取得最佳平衡。
引用
@article{arxiv.1808.07576,
title = {Cooperative SGD: A unified Framework for the Design and Analysis of Communication-Efficient SGD Algorithms},
author = {Jianyu Wang and Gauri Joshi},
journal= {arXiv preprint arXiv:1808.07576},
year = {2019}
}