多任务计算与Blue Waters
分布式、并行与集群计算
2012-02-20 v1
摘要
本报告一般性地讨论了多任务计算（MTC），并在拟议的Blue Waters系统背景下进行了讨论，该系统计划于2012年投入生产使用时成为美国国家科学基金会（NSF）资助的最大超级计算机。本报告旨在向BW项目介绍MTC，包括理解可用于表征该领域的MTC应用方面，以及理解这些方面对中间件和策略的影响。许多MTC应用并不完全符合高性能计算（HPC）或高吞吐量计算（HTC）应用的典型模式。与HTC应用一样，根据定义，MTC应用被构造为离散任务的图，具有明确的输入和输出依赖关系形成图的边。然而，MTC应用具有显著特征，使其区别于典型的HTC应用。特别是，为了支持这些应用，必须满足硬件和软件的不同工程约束。传统上，HTC应用通过工作流系统或并行编程系统在网格和集群等平台上运行。相比之下，MTC应用通常要求较短的求解时间，可能是通信密集型或数据密集型的，并且可能包含非常短的任务。因此，MTC的硬件和软件必须设计为支持额外的通信和I/O，并最小化任务调度开销。大规模HPC系统的硬件具有高度并行性和对密集通信的支持，非常适合MTC应用。然而，HPC系统通常缺乏动态资源供应功能，不适用于通过文件系统进行任务通信，并且其I/O系统未针对MTC风格的应用进行优化。因此，可能需要额外的软件支持才能充分利用HPC硬件。
引用
@article{arxiv.1202.3943,
title = {Many-Task Computing and Blue Waters},
author = {Daniel S. Katz and Timothy G. Armstrong and Zhao Zhang and Michael Wilde and Justin M. Wozniak},
journal= {arXiv preprint arXiv:1202.3943},
year = {2012}
}