面向分布式学习稀疏通信的全局动量压缩
机器学习
2024-04-04 v3 机器学习
摘要
随着数据的快速增长，分布式动量随机梯度下降（DMSGD）已广泛应用于分布式学习，尤其是训练大规模深度模型。由于网络的延迟和有限带宽，通信已成为分布式学习的瓶颈。基于稀疏化梯度的通信压缩（简称稀疏通信）已被广泛采用以降低通信成本。现有关于 DMSGD 中稀疏通信的工作均采用局部动量，其中动量仅累积各工作节点本地计算的随机梯度。本文提出一种用于稀疏通信的新方法，称为全局动量压缩（GMC）。与利用局部动量的现有工作不同，GMC 利用全局动量。此外，为在使用更激进的稀疏化压缩器（如 RBGS）时增强收敛性能，我们将 GMC 扩展为 GMC+。我们从理论上证明了 GMC 和 GMC+ 的收敛性。据我们所知，这是首项在分布式学习中引入全局动量用于稀疏通信的工作。实验结果表明，与局部动量对应方法相比，我们的 GMC 和 GMC+ 能达到更高的测试精度并展现更快的收敛，尤其在非独立同分布（non-IID）数据分布下。
引用
@article{arxiv.1905.12948,
title = {Global Momentum Compression for Sparse Communication in Distributed Learning},
author = {Chang-Wei Shi and Shen-Yi Zhao and Yin-Peng Xie and Hao Gao and Wu-Jun Li},
journal= {arXiv preprint arXiv:1905.12948},
year = {2024}
}