Hydra：面向规模化异构工作负载的云端与HPC资源调度系统
分布式、并行与集群计算
2024-07-17 v1 软件工程
摘要
科学发现日益依赖于能够在异构平台上执行异构工作流程的中间件软件。一个主要挑战在于设计能够集成到现有生态系统中，以实现跨云端和高性能计算（HPC）平台规模化和性能的软件组件。研究人员面临的是多样化的计算环境，包括可在商业云平台上获得的服务、专为科学发现设计的数据和网络能力的政府赞助云平台，以及HPC平台上的规模和性能。我们提出Hydra，一种跨云端HPC调度系统，能够同时从商业私有云和HPC平台获取资源，并在这些资源上管理异构工作流程应用的执行。本文作出了四项主要贡献：(1) 在面向任务、平台、资源和中间件异构性的条件下设计调度能力；(2) 采用Hydra实现该设计的参考实现；(3) 对Hydra在异构工作负载和平台上的开销和强/弱扩展进行实验表征；(4) 实现了一个使用Hydra进行海平面上升建模的工作流程，并在云端和HPC平台上进行规模化测试。
引用
@article{arxiv.2407.11967,
title = {Hydra: Brokering Cloud and HPC Resources to Support the Execution of Heterogeneous Workloads at Scale},
author = {Aymen Alsaadi and Shantenu Jha and Matteo Turilli},
journal= {arXiv preprint arXiv:2407.11967},
year = {2024}
}