中文

MANA-2.0:一种面向规模化的 MPI 透明检查点的前瞻性设计

分布式、并行与集群计算 2021-12-14 v1

摘要

MANA-2.0 是一种可扩展的、前瞻性的设计,用于基于 MPI 的计算的透明检查点。其网络透明(“网络无关”)特性确保 MANA-2.0 将为在当前和未来超级计算机上透明检查点 MPI 应用提供一种可行且高效的机制。MANA-2.0 是先前工作(原始 MANA)的增强版,原始 MANA 拦截 MPI 调用,而 MANA-2.0 是一项正在进行中、旨在用于生产部署的工作。MANA-2.0 实现了一系列新算法和特性,改善了 MANA 的可扩展性和可靠性,使得超过数千个 MPI 进程的透明检查点-重启成为可能。MANA-2.0 正在今天的 NERSC 的 Cori 超级计算机上使用 Cray MPICH 库经由 Cray GNI 网络进行测试,但其设计用于在任何运行于任意网络之上的标准 MPI 上工作。选取了两个广泛使用的 HPC 应用来展示 MANA-2.0 的增强特性:GROMACS,一个具有频繁点对点通信的分子动力学模拟代码,以及 VASP,一个具有频繁 MPI 集合通信的材料科学代码。或许从 MANA-2.0 中能学到的最重要的一课是一系列基于库的转换的算法和数据结构,它们使得基于 MPI 的计算在 MANA-2.0 上能够可靠地度过检查点-重启转换。

关键词

引用

@article{arxiv.2112.05858,
  title  = {MANA-2.0: A Future-Proof Design for Transparent Checkpointing of MPI at Scale},
  author = {Yao Xu and Zhengji Zhao and Rohan Garg and Harsh Khetawat and Rebecca Hartman-Baker and Gene Cooperman},
  journal= {arXiv preprint arXiv:2112.05858},
  year   = {2021}
}