WRF 模型中基于 ADIOS2 的高性能并行 I/O 与就地分析
分布式、并行与集群计算
2022-01-21 v1
摘要
随着大规模 HPC 集群算力逼近 Exascale，计算能力与存储系统间的差距持续扩大。特别是，流行的 HPC 应用——天气研究与预报模式（WRF）目前正用于高分辨率预报与研究，产生极大数据集，尤其在研究瞬时天气现象时。然而，WRF 中现有 I/O 选项在规模上已被发现是瓶颈。本工作展示了将下一代并行 I/O 框架 ADIOS2 集成为 WRF 新 I/O 后端选项的影响。首先，我们详述集成过程中遇到的实现考量、挫折与解决方案。接着考察 I/O 写入时间结果，并与现有 WRF I/O 选项对比。所得 I/O 时间显示，使用 ADIOS2 相比经典基于 MPI-I/O 的方案有超过一个数量级的加速。此外，展示了 ADIOS2 的节点本地突发缓冲写入能力及内联无损压缩能力，进一步提升性能。最后，通过 WRF 预报流水线展示了新颖的 ADIOS2 就地分析能力在天气预报中的使用，呈现了与 WRF 模式执行并发的无缝端到端处理流水线，大幅改善了总求解时间。
引用
@article{arxiv.2201.08228,
title = {High Performance Parallel I/O and In-Situ Analysis in the WRF Model with ADIOS2},
author = {Michael Laufer and Erick Fredj},
journal= {arXiv preprint arXiv:2201.08228},
year = {2022}
}