基于 Cray LASSi 与 EPCC SAFE 的英国国家超级计算服务 ARCHER 并行 I/O 使用分析
分布式、并行与集群计算
2019-06-11 v1 性能
摘要
在本文中，我们描述了如何结合使用 LASSi 工具（由 Cray 开发）和 SAFE 软件（由 EPCC 开发）来收集并分析在英国国家超级计算服务 ARCHER 上运行的所有作业的 Lustre I/O 性能数据，并在我们的标准报告框架中为用户提供关于 I/O 使用的报告。我们还展示了针对 ARCHER 上并行 I/O 使用的分析结果，以及利用从 LASSi 数据导出的指标对不同应用对文件系统性能的潜在影响的分析。我们表明，来自 LASSi 的性能数据揭示了同一应用如何根据其运行方式对文件系统的不同组件造成压力，以及 LASSi 风险指标如何使我们识别可能对全局 I/O 性能造成问题的用例，并与用户合作改进其 I/O 使用。我们使用 IO-500 基准测试来帮助我们理解 LASSi 风险指标如何对应于 ARCHER 文件系统上观测到的性能。我们还使用导入 SAFE 的 LASSi 数据来识别与不同研究领域相关的 I/O 使用模式，理解研究工作流如何产生所观测到的模式，并预测这将如何影响未来的 I/O 需求。最后，我们概述了这项工作持续开展的未来可能方向。
引用
@article{arxiv.1906.03891,
title = {Analysis of parallel I/O use on the UK national supercomputing service, ARCHER using Cray LASSi and EPCC SAFE},
author = {Andrew Turner and Dominic Sloan-Murphy and Karthee Sivalingam and Harvey Richardson and Julian Kunkel},
journal= {arXiv preprint arXiv:1906.03891},
year = {2019}
}
备注
15 pages, 19 figures, 5 tables, 2019 Cray User Group Meeting (CUG) , Montreal, Canada