Themis：公平且高效的 GPU 集群调度
分布式、并行与集群计算
2019-10-30 v2
摘要
现代分布式机器学习（ML）训练工作负载通过利用 GPU 获益显著。然而，当多个此类工作负载运行于共享的 GPU 集群之上时，会出现显著的资源争用。一个关键问题是如何跨工作负载公平地分配 GPU。我们发现既有的集群调度规则因 ML 工作负载的独特属性而不适用：ML 作业具有需被组团调度（gang-scheduled）的长时运行任务，且其性能对任务间的相对放置敏感。我们提出 Themis，一种面向 ML 训练工作负载的新调度框架。其 GPU 分配策略强制 ML 工作负载以完成时间公平的方式结束，这是我们引入的新概念。为捕获放置敏感性并确保效率，Themis 采用两级调度架构，其中 ML 工作负载对由中央仲裁者运行的拍卖所提供的可用资源进行竞价。我们的拍卖设计通过将短期效率与公平性权衡来将 GPU 分配给中标出价，但在长期确保完成时间公平。我们在生产轨迹上的评估表明，与最先进的调度器相比，Themis 可将公平性提升逾 2.25 倍，且集群效率高出约 5% 至 250%。
引用
@article{arxiv.1907.01484,
title = {Themis: Fair and Efficient GPU Cluster Scheduling},
author = {Kshiteej Mahajan and Arjun Balasubramanian and Arjun Singhvi and Shivaram Venkataraman and Aditya Akella and Amar Phanishayee and Shuchi Chawla},
journal= {arXiv preprint arXiv:1907.01484},
year = {2019}
}