面向云端 HPC 应用的弹性作业调度器
分布式、并行与集群计算
2025-10-20 v1
摘要
过去几年来，云计算用于运行 HPC 应用的采用率不断增加。云资源的按需付费模式促使开发针对 HPC 作业的专业编程模型和调度器，以高效利用云资源。高效利用的关键在于能够动态调整应用程序规模，以最大化云资源的利用率。最常用的并行编程模型如 MPI 传统上不支持在云环境或超级计算机上实现弹性伸缩。虽然近期工作已尝试在 MPI 中实现此功能，但仍处于初级阶段，需要额外的编程 effort。Charm++ 是一种并行编程模型，原生支持通过其可迁移对象范式实现动态弹性伸缩。本文提出了一种 Kubernetes 运算符，用于在 Kubernetes 集群上运行 Charm++ 应用程序。我们随后提出了一种基于优先级的弹性作业调度器，能够根据 Kubernetes 集群状态动态调整作业规模，以最大化集群利用率的同时最小化高优先级作业的响应时间。我们展示表明，带有对 HPC 作业进行最小开销弹性伸缩能力的弹性调度器，相对于传统的静态调度器显示出显著的性能改进。
关键词
引用
@article{arxiv.2510.15147,
title = {An Elastic Job Scheduler for HPC Applications on the Cloud},
author = {Aditya Bhosale and Kavitha Chandrasekar and Laxmikant Kale and Sara Kokkila-Schumacher},
journal= {arXiv preprint arXiv:2510.15147},
year = {2025}
}