提升 NERSC 生产负载中 MPI 无关透明检查点的可扩展性与可靠性
分布式、并行与集群计算
2021-03-17 v2
摘要
检查点/重启（C/R）提供容错计算能力，支持长时间运行的应用，并为计算中心提供调度灵活性，以不同优先级支持多样化工作负载。因此，在 NERSC 实现透明 C/R 能力至关重要。Garg 等人开发的 MANA 是一种透明检查点工具，因其 MPI 无关和网络无关的方法而被选中。然而，MANA 最初作为概念验证代码编写，尚未准备好用于 NERSC 以 MPI 和混合 MPI+OpenMP 应用为主的多样化生产负载。在本次报告中，我们介绍 NERSC 为使 MANA 支持其生产负载而开展的 ongoing 工作，包括修复由 NERSC 顶级应用暴露的缺陷、添加新功能以应对系统变更、评估大规模下的 C/R 开销等。使 MANA 为 HPC 应用达到生产就绪所汲取的经验，对 C/R 工具开发者、超级计算中心和 HPC 终端用户同样具有参考价值。
引用
@article{arxiv.2103.08546,
title = {Improving scalability and reliability of MPI-agnostic transparent checkpointing for production workloads at NERSC},
author = {Prashant Singh Chouhan and Harsh Khetawat and Neil Resnik and Twinkle Jain and Rohan Garg and Gene Cooperman and Rebecca Hartman-Baker and Zhengji Zhao},
journal= {arXiv preprint arXiv:2103.08546},
year = {2021}
}