7.3 PB 气候模拟数据的自动化、可靠、高效洲际复制：案例研究
分布式、并行与集群计算
2024-05-01 v1
摘要
我们报告了将 7.3 PB 的地球系统网格联盟（ESGF）气候模拟数据从加利福尼亚州的劳伦斯利弗莫尔国家实验室（LLNL）复制到伊利诺伊州的阿贡国家实验室（ANL）和田纳西州的橡树岭国家实验室（ORNL）的经验。为了在 ANL 和 ORNL 建立新的 ESGF 节点，我们进行了两次约 2900 万个文件的数据移动，该过程主要由一个简单的复制工具自动完成，该脚本调用 Globus 传输大量文件包，同时在数据库中跟踪进度。在底层，Globus 组织传输以高效利用高速能源科学网络（ESnet）和部署在参与站点的数据传输节点，并处理安全性、完整性检查以及从各种瞬时故障中恢复。这一成功证明了采用高性能数据复制基础设施可以带来的巨大好处。
引用
@article{arxiv.2404.19717,
title = {Automated, Reliable, and Efficient Continental-Scale Replication of 7.3 Petabytes of Climate Simulation Data: A Case Study},
author = {Lukasz Lacinski and Lee Liming and Steven Turoscy and Cameron Harr and Kyle Chard and Eli Dart and Paul Durack and Sasha Ames and Forrest M. Hoffman and Ian T. Foster},
journal= {arXiv preprint arXiv:2404.19717},
year = {2024}
}