TonY：分布式机器学习作业编排器
分布式、并行与集群计算
2019-04-04 v1 机器学习
机器学习
摘要
在大型数据集上训练机器学习（ML）模型需要可观的计算能力。为加速训练，通常将训练分布到多台机器上，并常使用 GPU 或 TPU 等专用硬件。管理分布式训练作业十分复杂，需应对资源争用、分布式配置、监控与容错等问题。本文描述 TonY，一个由 LinkedIn 构建的开源分布式 ML 作业编排器，用以应对上述挑战。
引用
@article{arxiv.1904.01631,
title = {TonY: An Orchestrator for Distributed Machine Learning Jobs},
author = {Anthony Hsu and Keqiu Hu and Jonathan Hung and Arun Suresh and Zhe Zhang},
journal= {arXiv preprint arXiv:1904.01631},
year = {2019}
}
备注
2 pages, to be published in OpML '19