Ensemble Toolkit：任务集的可扩展与灵活执行
分布式、并行与集群计算
2016-06-29 v3
摘要
许多科学应用需要可扩展的任务级并行性，并支持灵活执行与模拟集成的耦合。然而，大多数高性能系统软件与中间件被设计用于支持单任务的执行与优化。受这些计算系统缺失能力及任务级并行性日益重要的驱动，我们引入了 Ensemble toolkit，其具有以下应用开发特性：(i) 能够将集成作为基本实体表达的抽象；(ii) 支持涵盖大多数应用场景的基于集成的执行模式。Ensemble toolkit 使用可扩展的基于 pilot 的运行时系统，将工作负载执行与资源管理细节从应用表达中解耦，并支持在异构计算资源上高效动态地执行集成。我们研究了三种执行模式，并刻画了 Ensemble toolkit 对于这些模式的可扩展性与开销。我们研究了多达 O(1000) 并发集成与 O(1000) 核的扩展特性，发现了线性的弱缩放与强缩放行为。
引用
@article{arxiv.1602.00678,
title = {Ensemble Toolkit: Scalable and Flexible Execution of Ensembles of Tasks},
author = {Vivekanandan Balasubramanian and Antons Treikalis and Ole Weidner and Shantenu Jha},
journal= {arXiv preprint arXiv:1602.00678},
year = {2016}
}
备注
12 pages, 11 figures