面向可塑作业的整体减速驱动调度与资源管理
分布式、并行与集群计算
2020-02-20 v1
摘要
在作业调度中，可塑性（malleability）概念已被探索多年。研究表明可塑性可提升系统性能，但其在 HPC 中的使用从未广泛普及。原因在于开发可塑应用的困难，以及 HPC 软件栈各层缺乏支持和集成。然而，近年来，由于硬件和工作负载日益复杂，作业调度中的可塑性正变得更为关键。在此背景下，像传统 HPC 作业那样以独占模式使用节点并非总是最高效的方案——传统作业中应用针对静态分配高度调优，但对动态执行零灵活性。本文提出一种新的整体动态作业调度策略，即减速驱动（SD-Policy），其将应用的可塑性作为关键技术，以降低作业的平均减速和响应时间。SD-Policy 基于回填（backfill）和节点共享。它仅当估计减速优于静态方法时，对运行中的作业应用可塑性，从而为将以缩减资源集运行的作业腾出空间。我们在 SLURM 中实现了 SD-Policy，并在真实生产环境以及使用多达 198K 作业负载的模拟器中进行了评估。结果表明，对于所评估的工作负载，资源利用率更优，makespan、响应时间、减速和能耗分别降低至多 7%、50%、70% 和 6%。
引用
@article{arxiv.2002.08088,
title = {Holistic Slowdown Driven Scheduling and Resource Management for Malleable Jobs},
author = {Marco D'Amico and Ana Jokanovic and Julita Corbalan},
journal= {arXiv preprint arXiv:2002.08088},
year = {2020}
}