实现生产级分布式深度学习的民主化
计算机视觉与模式识别
2018-11-06 v2 分布式、并行与集群计算
机器学习
摘要
对深度神经网络训练的兴趣与需求正经历快速增长，横跨学术界与工业界的广泛应用。然而，由于其涉及的工具与硬件生态复杂，分布式且大规模的训练仍十分困难。一个后果是，编排这些复杂组件的职责常遗留给针对特定问题定制的临时脚本与胶水代码。为消除这些限制，我们引入 Alchemist——在 Apple 内部从零构建的用于简便、快速且可扩展分布式训练的内部服务。我们讨论其设计、实现，以及运行不同形式分布式训练的示例。我们还呈现其在自动驾驶系统开发中被内部采用的案例研究，其中训练时间缩减了 10 倍以跟上不断增长的数据采集。
引用
@article{arxiv.1811.00143,
title = {Democratizing Production-Scale Distributed Deep Learning},
author = {Minghuang Ma and Hadi Pouransari and Daniel Chao and Saurabh Adya and Santiago Akle Serrano and Yi Qin and Dan Gimnicher and Dominic Walsh},
journal= {arXiv preprint arXiv:1811.00143},
year = {2018}
}