Cray 机器上高度可扩展云建模的原位数据分析
分布式、并行与集群计算
2020-10-28 v1
摘要
MONC 是一个用于研究大气流动、湍流和云微物理的高度可扩展建模工具。典型模拟产生非常大量的原始数据，随后必须对其进行分析以进行科学研究。出于性能和可扩展性原因，该分析以及随后的写盘应在数据生成时原位执行，然而人们不希望在进行分析时暂停计算。在本文中我们提出 MONC 的分析方法，其中节点的核心在计算和数据分析之间共享。通过将数据异步发送给分析核心，计算核心可以持续运行而无需为数据写盘或分析而暂停。我们描述了我们的 IO 服务器框架和高度异步的分析工作流，以及该方法引发的挑战的解决方案和一些常见配置选择的性能影响。这项工作的成果是一种高度可扩展的分析方法，我们在 Cray XC30 上多达 32768 个计算核心上说明，在 MONC 中启用数据分析时对运行时的性能影响极小，并且还在 KNL 上研究了我们方法的性能和适用性。
引用
@article{arxiv.2010.14127,
title = {In-situ data analytics for highly scalable cloud modelling on Cray machines},
author = {Nick Brown and Michèle Weiland and Adrian Hill and Ben Shipway},
journal= {arXiv preprint arXiv:2010.14127},
year = {2020}
}
备注
This is the pre-peer reviewed version of the following article: Leveraging MPI RMA to optimise halo-swapping communications in MONC on Cray machines, which has been published in final form at https://doi.org/10.1002/cpe.4331