基于分布式异步选择性优化(DASO)加速神经网络训练
机器学习
2022-02-09 v2 分布式、并行与集群计算
摘要
随着数据和模型复杂度的增加,训练神经网络所需的时间已变得过大而难以承受。为应对训练时间的指数级增长,用户正转向数据并行神经网络(DPNN)以利用计算机集群上的大规模分布式资源。当前DPNN方法通过阻塞通信操作在所有进程间同步并平均梯度来实现网络参数更新。这一同步是核心的算法瓶颈。为此,我们提出分布式异步选择性优化(DASO)方法,利用多GPU计算节点架构来加速网络训练。DASO采用由节点局部网络与全局网络组成的分层异步通信方案,并在学习过程中调整全局同步率。我们表明,与其他现有的数据并行训练方法相比,DASO在经典网络和前沿网络上可将训练时间减少多达34%。
引用
@article{arxiv.2104.05588,
title = {Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)},
author = {Daniel Coquelin and Charlotte Debus and Markus Götz and Fabrice von der Lehr and James Kahn and Martin Siggel and Achim Streit},
journal= {arXiv preprint arXiv:2104.05588},
year = {2022}
}