驾驭众核之力：面向可扩展集成应用的可扩展工具包
分布式、并行与集群计算
2018-05-17 v3
摘要
许多科学问题需要执行多个不同的计算任务才能获得所需的解决方案。我们引入集成工具包 (EnTK) 来应对这些任务在规模、多样性和可靠性方面带来的挑战。我们描述了 EnTK 的设计与实现，表征了其性能，并将其与两个不同的典型用例集成：地震反演和自适应模拟集成。我们进行了九项实验，表征了 EnTK 的开销、强可扩展性和弱可扩展性，以及两个用例实现在大规模和生产基础设施上的性能。我们展示了 EnTK 如何满足以下通用需求：(i) 实现专用抽象以支持集成应用的描述和执行；(ii) 支持在异构计算基础设施上执行；(iii) 高效扩展至 O(10^4) 量级的任务；(iv) 容错能力。我们讨论了 EnTK 所带来的新型计算能力以及由此产生的科学优势。我们提议将 EnTK 作为支持生产级科学计算工具套件中的一个重要补充。
引用
@article{arxiv.1710.08491,
title = {Harnessing the Power of Many: Extensible Toolkit for Scalable Ensemble Applications},
author = {Vivek Balasubramanian and Matteo Turilli and Weiming Hu and Matthieu Lefebvre and Wenjie Lei and Guido Cervone and Jeroen Tromp and Shantenu Jha},
journal= {arXiv preprint arXiv:1710.08491},
year = {2018}
}