RADICAL-Pilot 在旗舰级平台上的设计与性能表征
分布式、并行与集群计算
2021-11-03 v2
摘要
许多极致规模科学应用的工作负载由大量独立的高性能任务组成。Pilot 抽象通过作业占位符与延迟绑定,将工作负载规范、资源管理与任务执行解耦。因此,Pilot 抽象的适当实现可支持在超级计算机上集体执行大量任务。我们提出 RADICAL-Pilot (RP) 作为一个可移植、模块化且可扩展的 pilot 使能运行时系统。我们描述 RP 的设计、架构与实现。我们表征其性能,并展示其在 DOE 与 NSF 旗舰级 HPC 平台上可扩展地执行由数万个异构任务组成的工作负载的能力。具体而言,我们研究了在使用 ORNL Summit 与 TACC Frontera 大部分资源时,RP 在 CPU/GPU、单核/多核、(非)MPI 任务及 Python 函数下的弱/强扩展。RADICAL-Pilot 既可独立使用,也可作为第三方工作流系统的运行时。
引用
@article{arxiv.2103.00091,
title = {Design and Performance Characterization of RADICAL-Pilot on Leadership-class Platforms},
author = {Andre Merzky and Matteo Turilli and Mikhail Titov and Aymen Al-Saadi and Shantenu Jha},
journal= {arXiv preprint arXiv:2103.00091},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:1801.01843