Shockwave：面向机器学习动态适应的公平高效集群调度
分布式、并行与集群计算
2022-10-04 v1
摘要
动态适应已成为加速分布式机器学习（ML）训练的一项关键技术。近期研究表明，动态调整模型结构（如彩票假设）或超参数（如批大小）可在不牺牲精度的前提下显著加速训练。然而，现有的ML集群调度器并非为处理动态适应而设计。我们表明，当训练吞吐量在动态适应下随时间变化时，现有方案无法提供公平性并会降低系统效率。我们设计了Shockwave，一种具有未来规划的调度器，其基于两个关键思想。首先，Shockwave将经典市场理论从静态设定扩展至动态设定，以协同优化效率与公平。其次，Shockwave利用随机动态规划来处理动态变化。我们构建了Shockwave系统，并通过轨迹驱动仿真与集群实验验证其性能。结果表明，对于具有动态适应的ML作业轨迹，与现有公平调度方案相比，Shockwave将makespan提升1.3倍、公平性提升2倍。
引用
@article{arxiv.2210.00093,
title = {Shockwave: Fair and Efficient Cluster Scheduling for Dynamic Adaptation in Machine Learning},
author = {Pengfei Zheng and Rui Pan and Tarannum Khan and Shivaram Venkataraman and Aditya Akella},
journal= {arXiv preprint arXiv:2210.00093},
year = {2022}
}
备注
Accepted at the 20th USENIX Symposium on Networked Systems Design and Implementation (NSDI '23)