分布式深度学习中模型精度与运行时间的权衡：系统性研究
机器学习
2016-12-07 v3 分布式、并行与集群计算
机器学习
神经与进化计算
摘要
本文提出 Rudra，一种基于参数服务器的分布式计算框架，专为训练大规模深度神经网络而优化。利用异步随机梯度下降算法的变体，我们研究了同步协议、陈旧梯度更新、小批量大小、学习率以及学习器数量对运行性能和模型精度的影响。我们引入一种新的学习率调制策略以抵消陈旧梯度的影响，并提出了一种新的同步协议，该协议能有效限制梯度的陈旧程度，改善运行性能并达到良好的模型精度。我们的实证调研揭示了分布式神经网络训练的一个原则性方法：随着系统中学习器数量的增加，每个学习器的小批量大小应当减小，以保持模型精度。我们使用常用的图像分类基准 CIFAR10 和 ImageNet 验证了该方法。
引用
@article{arxiv.1509.04210,
title = {Model Accuracy and Runtime Tradeoff in Distributed Deep Learning:A Systematic Study},
author = {Suyog Gupta and Wei Zhang and Fei Wang},
journal= {arXiv preprint arXiv:1509.04210},
year = {2016}
}
备注
Accepted by The IEEE International Conference on Data Mining 2016 (ICDM 2016)