MRSch：面向高性能计算的多资源调度
分布式、并行与集群计算
2024-04-05 v2
摘要
高性能计算（HPC）中的新兴工作负载正经历显著变化，例如不再以 CPU 为中心，而是呈现出多样化的资源需求。这一进展迫使集群调度器在决策过程中必须考虑多种可调度资源。现有调度研究依赖于启发式或优化方法，这些方法在适应新场景以保证长期调度性能方面存在局限。本文提出一种名为 MRSch 的智能调度代理，用于 HPC 中的多资源调度，它采用了一种先进的多目标强化学习算法——直接未来预测（DFP）。尽管 DFP 在某游戏竞赛中表现出色，但此前尚未在 HPC 调度领域得到探索。本研究开发了若干关键技术以应对多资源调度所面临的挑战。这些技术使 MRSch 能够自动学习合适的调度策略，并通过动态资源优先级调整动态适应工作负载的变化。我们通过大量基于轨迹的仿真将 MRSch 与现有调度方法进行了比较。结果表明，与现有调度方法相比，MRSch 将调度性能最多提升了 48%。
引用
@article{arxiv.2403.16298,
title = {MRSch: Multi-Resource Scheduling for HPC},
author = {Boyang Li and Yuping Fan and Matthew Dearing and Zhiling Lan and Paul Richy and William Allcocky and Michael Papka},
journal= {arXiv preprint arXiv:2403.16298},
year = {2024}
}