CASSINI：机器学习集群中的网络感知作业调度
网络与互联网体系结构
2023-08-03 v1 分布式、并行与集群计算
机器学习
摘要
我们提出CASSINI，一种面向机器学习（ML）集群的网络感知作业调度器。CASSINI引入了一种新颖的几何抽象，以在将不同作业放置于网络链路时考虑其通信模式。为此，CASSINI使用亲和图来寻找一系列时移值，以调整部分作业的通信相位，使得共享同一网络链路的作业的通信模式彼此交错。在24台服务器测试平台上使用13个常见ML模型的实验表明，与最先进的ML调度器相比，CASSINI将作业的平均和尾完成时间分别提升了至多1.6倍和2.5倍。此外，我们表明CASSINI将集群中ECN标记包的数量减少了至多33倍。
引用
@article{arxiv.2308.00852,
title = {CASSINI: Network-Aware Job Scheduling in Machine Learning Clusters},
author = {Sudarsanan Rajasekaran and Manya Ghobadi and Aditya Akella},
journal= {arXiv preprint arXiv:2308.00852},
year = {2023}
}