表征在Summit上执行多任务的性能
分布式、并行与集群计算
2019-09-10 v1
摘要
许多科学工作负载由大量任务组成，其中每个任务是一个独立的模拟或数据分析。在异构HPC平台上执行数百万个任务需要可扩展的动态资源管理和多级调度。RADICAL-Pilot（RP）——Pilot抽象的一种实现，应对这些挑战，并作为执行由大量任务组成的工作负载的有效运行时系统。在本文中，我们表征了在Summit上与JSM和PRRTE接口时使用RP执行多任务的性能：RP负责所获取资源上的资源管理和任务调度；JSM或PRRTE执行已调度任务的放置与启动。我们的实验提供了RP与JSM和PRRTE集成时性能的下界。具体而言，对于由同构单核、15分钟长任务组成的工作负载，我们发现：对于超过O(1000)个任务，PRRTE比JSM扩展性更好；PRRTE开销可忽略不计；并且PRRTE支持降低开销影响的优化，在404个计算节点上执行O(16K)个单核任务时，资源利用率可达63%。
引用
@article{arxiv.1909.03057,
title = {Characterizing the Performance of Executing Many-tasks on Summit},
author = {Matteo Turilli and Andre Merzky and Thomas Naughton and Wael Elwasif and Shantenu Jha},
journal= {arXiv preprint arXiv:1909.03057},
year = {2019}
}