深度神经网络的分布式训练：并行可扩展性的理论与实际极限
计算机视觉与模式识别
2016-12-06 v4
摘要
本文针对深度神经网络（DNNs）训练的可扩展分布式解决方案，对其主要瓶颈进行了理论分析和实际评估。结果表明，当前最先进的方法，即使用数据并行化的随机梯度下降（SGD），正迅速变成一个严重受通信限制的问题。此外，我们给出了简单但固定的理论约束，阻止了 DNN 训练有效扩展到仅几十个节点之外。这导致在大多数实际场景中 DNN 训练的可扩展性较差。
引用
@article{arxiv.1609.06870,
title = {Distributed Training of Deep Neural Networks: Theoretical and Practical Limits of Parallel Scalability},
author = {Janis Keuper and Franz-Josef Pfreundt},
journal= {arXiv preprint arXiv:1609.06870},
year = {2016}
}