基于马尔可夫服务速率策略的多资源作业调度优化

现代云计算工作负载由多资源作业组成，这些作业需要各种计算资源才能运行，例如 CPU 核心、内存、磁盘空间或硬件加速器。单个云服务器通常可以并行运行许多多资源作业，但只有当服务器具有足够资源来满足每个作业的需求时才可以。调度策略因此必须选择一组并行运行的多资源作业，以最小化跨作业的平均响应时间——从作业到达系统到完成之间的平均时间。不幸的是，通过选择充分利用可用服务器资源的作业集合来实现低响应时间已被证明是一个困难的问题。本文中，我们开发并分析了一种新的调度多资源作业策略类，称为马尔可夫服务速率 (Markovian Service Rate, MSR) 策略。虽然先前的多资源作业调度策略要么分析复杂，要么难以实现，但我们的 MSR 策略易于实现且可用于响应时间分析。我们证明了 MSR 策略类别是吞吐量最优的，即我们可以用 MSR 策略稳定系统，只要这是可能的。我们也推导出在 MSR 算法下的平均响应时间下界，这些下界在增加常数项的幅度上是紧密的。这些下界可以应用于不同抢占行为的系统，例如完全抢占系统、非抢占系统以及允许抢占但需要设置时间的系统。我们展示了如何利用这些理论结果根据系统到达率、作业服务需求、服务器的资源容量以及作业的资源需求来选择合适的 MSR 策略。