刻画存储故障对HPC应用的影响：一种方法与见解
分布式、并行与集群计算
2021-08-04 v2
摘要
近年来，科学模拟日益复杂以及训练重型人工智能模型的新兴需求需要海量且快速的数据访问，这促使高性能计算（HPC）平台配备更先进的存储基础设施，如固态硬盘（SSD）。尽管 SSD 提供高性能 I/O，但 HPC 应用在 SSD 相关故障（尤其是导致数据损坏的故障）下所面临的可靠性挑战仍不明确。本文旨在理解 SSD 相关故障对复杂 HPC 应用行为的影响。为此，我们提出 FFIS，一个基于 FUSE 的故障注入框架，系统性地将存储故障引入应用层以建模源自 SSD 的错误。FFIS 能够将不同的 I/O 相关故障植入底层文件系统返回的数据中，从而实现对科学文件格式错误弹性特征的考察。我们以三个具代表性的真实 HPC 应用演示了 FFIS 的使用，展示了各应用如何应对数据损坏，并就 HPC 应用广泛采用的 HDF5 文件格式的错误弹性提供了见解。
引用
@article{arxiv.2105.12929,
title = {Characterizing Impacts of Storage Faults on HPC Applications: A Methodology and Insights},
author = {Bo Fang and Daoce Wang and Sian Jin and Quincey Koziol and Zhao Zhang and Qiang Guan and Suren Byna and Sriram Krishnamoorthy and Dingwen Tao},
journal= {arXiv preprint arXiv:2105.12929},
year = {2021}
}
备注
12 pages, 9 figures, 4 tables, accepted by IEEE Cluster'21