EventGraD：并行机器学习中的事件触发通信
机器学习
2021-12-10 v2 分布式、并行与集群计算
系统与控制
系统与控制
摘要
并行系统中的通信带来了显著的开销，这往往成为并行机器学习中的瓶颈。为缓解部分此类开销，本文提出 EventGraD——一种用于并行机器学习中随机梯度下降的事件触发通信算法。该算法的主要思想是将并行机器学习中随机梯度下降标准实现中每次迭代都需通信的要求，修改为仅在必要时于特定迭代进行通信。我们对所提算法的收敛性提供了理论分析。我们还针对用于训练 CIFAR-10 数据集的流行残差神经网络实现了该算法进行数据并行训练，并表明 EventGraD 可在保持相同精度水平的同时将通信负载降低多达 60%。此外，EventGraD 可与其他方法（如 Top-K 稀疏化）结合，在保持精度的同时进一步减少通信。
引用
@article{arxiv.2103.07454,
title = {EventGraD: Event-Triggered Communication in Parallel Machine Learning},
author = {Soumyadip Ghosh and Bernardo Aquino and Vijay Gupta},
journal= {arXiv preprint arXiv:2103.07454},
year = {2021}
}
备注
Published in Neurocomputing, Nov 2021