GaDei：面向深度学习的纵向扩展训练即服务
机器学习
2017-10-05 v2 分布式、并行与集群计算
机器学习
摘要
深度学习(DL)训练即服务(TaaS)是一种重要的新兴工业工作负载。TaaS的独特挑战在于必须满足广泛缺乏经验和资源来调整DL超参数的客户，而为每个用户的数据集进行精细调参成本高昂。因此，TaaS超参数必须固定为适用于所有用户的值。IBM Watson自然语言分类器(NLC)服务是全球数千家企业级客户使用的最受欢迎的IBM认知服务，是一种典型的TaaS服务。通过评估NLC工作负载，我们表明只有保守的超参数设置(例如小批量大小和小学习率)才能保证广泛客户的可接受模型精度。我们进一步从理论上证明这种设置通常能保证更好的模型收敛。不幸的是，小批量大小在基于参数服务器的系统中导致高通信流量。我们使用代表性的工业深度学习工作负载刻画了TaaS的高通信带宽需求，并证明最先进的纵向扩展或横向扩展方案均无法满足该需求。然后我们提出GaDei，一种优化的基于共享内存的纵向扩展参数服务器设计。我们证明所设计的协议无死锁，且每个梯度精确处理一次。我们的实现在商业基准和公共基准上评估，表明其显著优于最先进的基于参数服务器的实现，同时保持所需精度，并且我们的实现达到了接近最佳可能的运行时性能，仅受硬件限制约束。此外，据我们所知，GaDei是唯一提供容错的纵向扩展深度学习系统。
引用
@article{arxiv.1611.06213,
title = {GaDei: On Scale-up Training As A Service For Deep Learning},
author = {Wei Zhang and Minwei Feng and Yunhui Zheng and Yufei Ren and Yandong Wang and Ji Liu and Peng Liu and Bing Xiang and Li Zhang and Bowen Zhou and Fei Wang},
journal= {arXiv preprint arXiv:1611.06213},
year = {2017}
}