使用 DAOS 大规模降低数值天气预报工作流中 I/O 争用的影响
分布式、并行与集群计算
2024-04-05 v1
摘要
业务数值天气预报 (NWP) 工作流是高度数据密集型的。在过去 40 年中，数据量增加了许多个数量级，并且预计将继续如此，特别是考虑到即将在预测过程中采用机器学习。多年来，并行兼容 POSIX 的文件系统一直是 HPC 工作流中数据存储和交换的主导范式。本文介绍了 ECMWF 超越 POSIX 范式的举措，为其存储库实现了一个支持 DAOS 的后端——这是一种为大规模分布式非易失性内存设计的新型高性能对象存储。根据典型的预测工作流 I/O 模式，该系统被证明在高负载和争用条件下能够优于高度成熟且经过优化的 POSIX 后端。这项工作标志着超越了 POSIX 语义所施加的性能限制的显著进步。
引用
@article{arxiv.2404.03107,
title = {Reducing the Impact of I/O Contention in Numerical Weather Prediction Workflows at Scale Using DAOS},
author = {Nicolau Manubens and Simon D. Smart and Emanuele Danovaro and Tiago Quintino and Adrian Jackson},
journal= {arXiv preprint arXiv:2404.03107},
year = {2024}
}
备注
12 pages, 6 figures, accepted at The ACM Platform For Advanced Scientific Computing (PASC) Conference, 2024