中文

面向具有凹加速比的可塑作业的最优服务器分配

分布式、并行与集群计算 2024-06-17 v1 性能 概率论

摘要

提交到现代计算集群和数据中心的大量作业是可并行的,并且能够在灵活数量的计算核心或服务器上运行。尽管为这样的作业分配更多服务器会提高其执行速度,但这会减少其他作业可用的服务器数量,在最坏情况下,可能导致新到达的作业无法立即找到可用的服务器运行。因此,需要解决的一个关键问题是:如何最优地将服务器分配给作业,使得 (i) 作业的平均执行时间最小化,并且 (ii) 几乎所有作业在到达时都能立即找到至少一台服务器。为了解决这个问题,我们考虑一个具有 nn 台服务器的系统,其中作业最多可在 d(n)d^{(n)} 台服务器上并行,且作业的加速比函数是凹且递增的。到达时未找到任何可用服务器的作业将被阻塞并丢失。我们提出了一种简单的服务器分配方案,该方案在确保作业阻塞概率随系统规模增大 (nn \to \infty) 而趋于零的同时,实现了已接受作业的最小平均执行时间。该结果在各种流量条件以及异构工作负载下均成立。为了证明我们的结果,我们采用了 Stein 方法,该方法还给出了阻塞概率和平均执行时间的非渐近界。此外,我们的模拟表明,该方案的性能对作业执行时间的分布不敏感。

关键词

引用

@article{arxiv.2406.09427,
  title  = {On Optimal Server Allocation for Moldable Jobs with Concave Speed-Up},
  author = {Samira Ghanbarian and Arpan Mukhopadhyay and Ravi R. Mazumdar and Fabrice M. Guillemin},
  journal= {arXiv preprint arXiv:2406.09427},
  year   = {2024}
}