用 Chicle 解决弹性机器学习中的算法瓶颈
机器学习
2019-09-12 v1 分布式、并行与集群计算
性能
机器学习
摘要
分布式机器学习训练是当今数据中心运行最常见且重要的工作负载之一，但它很少单独执行。相反，为降低成本，计算资源被不同应用整合与共享。在此场景下，弹性与恰当的负载均衡对最大化效率、公平性与利用率至关重要。当前大多数分布式训练框架不支持上述特性。少数支持弹性的例外模仿通用分布式框架并使用微任务。本文中我们阐明，微任务对机器学习应用是有问题的，因为它们需要高度并行性，从而在纯算法层面（即忽略开销与可扩展性限制）阻碍分布式训练的收敛。为此，我们提出 Chicle，一种新型弹性分布式训练框架，其利用机器学习算法的本质实现无微任务的弹性与负载均衡。我们使用 Chicle 训练深度神经网络以及广义线性模型，并展示 Chicle 取得了与最先进刚性框架相竞争的性能，同时高效支持弹性执行与动态负载均衡。
引用
@article{arxiv.1909.04885,
title = {Addressing Algorithmic Bottlenecks in Elastic Machine Learning with Chicle},
author = {Michael Kaufmann and Kornilios Kourtis and Celestine Mendler-Dünner and Adrian Schüpbach and Thomas Parnell},
journal= {arXiv preprint arXiv:1909.04885},
year = {2019}
}