基于 PCS 提供可靠作业完成时间预测
分布式、并行与集群计算
2024-01-22 v1 机器学习
摘要
在本文中，我们阐述了为云用户提供作业完成时间预测的案例，类似于包裹的送达日期或预订出行的到达时间。我们的分析表明，提供可预测性可能以牺牲性能和公平性为代价。现有的云调度系统在权衡空间中优化极端点，使其要么极度不可预测，要么不切实际。为了应对这一挑战，我们提出了 PCS，这是一种新的调度框架，旨在提供可预测性的同时平衡其他传统目标。PCS 背后的关键思想是使用加权公平队列（WFQ），并寻找不同 WFQ 参数（例如，类权重）的合适配置，以满足特定的可预测性目标。它使用仿真辅助的搜索策略，以高效地发现位于这些目标之间权衡空间 Pareto 前沿上的 WFQ 配置。我们在 GPU 上 DNN 作业调度的背景下实现并评估了 PCS。我们在小规模 GPU 测试平台和更大规模仿真上的评估表明，PCS 能够提供准确的完成时间估计，同时在性能和公平性上仅做出微小的妥协。
引用
@article{arxiv.2401.10354,
title = {Towards providing reliable job completion time predictions using PCS},
author = {Abdullah Bin Faisal and Noah Martin and Hafiz Mohsin Bashir and Swaminathan Lamelas and Fahad R. Dogar},
journal= {arXiv preprint arXiv:2401.10354},
year = {2024}
}