深度神经网络的分布式训练及理论分析：在 SSP 设置下
机器学习
2016-10-04 v2 机器学习
最优化与控制
摘要
我们提出了一种分布式训练深度神经网络（DNNs）的方法，该方法在理论上保证收敛，并且在经验上具有很强的可扩展性：在使用 6 台机器运行 ImageNet 数据集的一个实例时，速度接近快 6 倍。所提出的方案在机器数量方面接近最优可扩展，并且保证收敛到与非分布式设置相同的极值。分布式设置的收敛性和可扩展性在不同的数据集（TIMIT 和 ImageNet）和机器学习任务（图像分类和音素提取）上得到了经验验证。收敛性分析为这一复杂学习方案提供了新的见解，包括：1）逐层收敛，以及 2）权重的概率收敛。
引用
@article{arxiv.1512.02728,
title = {Distributed Training of Deep Neural Networks with Theoretical Analysis: Under SSP Setting},
author = {Abhimanu Kumar and Pengtao Xie and Junming Yin and Eric P. Xing},
journal= {arXiv preprint arXiv:1512.02728},
year = {2016}
}
备注
The paper needs more refinement