RADICAL-Pilot与Parsl：在HPC平台上执行异构工作流
分布式、并行与集群计算
2022-08-31 v2
摘要
工作流应用对支持科学发现正变得日益重要。这导致工作流管理系统激增，进而造成软件生态的碎片化。现有工作流工具之间的集成可提升开发效率，并最终增强科学工作流软件的可持续性。我们描述了将RADICAL-Pilot (RP) 与Parsl集成的经验，以此使用户能够在异构高性能计算资源上开发并执行含异构任务的工作流应用。我们阐述了对两个系统集成的思路，并详述了RPEX的开发——一个使用RP作为工作负载管理器的Parsl执行器。我们开发了可在CPU核与GPU上执行异构MPI Python函数的RP执行器。我们测量了RPEX、RP和Parsl在为两个典型用例（Colmena与冰楔多边形）提供新能力时的弱缩放与强缩放。
引用
@article{arxiv.2105.13185,
title = {RADICAL-Pilot and Parsl: Executing Heterogeneous Workflows on HPC Platforms},
author = {Aymen Alsaadi and Logan Ward and Andre Merzky and Kyle Chard and Ian Foster and Shantenu Jha and Matteo Turilli},
journal= {arXiv preprint arXiv:2105.13185},
year = {2022}
}