FTHP-MPI：面向无容错原生 MPI 库的基于复制的文件容错
分布式、并行与集群计算
2025-04-15 v1
摘要
在当前的 Exascale 计算时代，高性能系统中的故障预计将非常大。为补偿更高的故障率，标准的检查点/重启技术需要创建频繁的检查点，导致开销过大，难以持续运行许多科学应用。为应对此类高故障率下的应用效率问题，提出了对 MPI 进程进行复制的机制。复制机制通过简单丢弃已故障进程并使用其副本继续执行应用程序的常规操作，实现快速恢复。本文实现了 FTHP-MPI（Fault Tolerance and High Performance MPI），一种新型容错 MPI 库，将复制与检查点/重启相结合，为应用程序提供容错能力。本工作的创新点在于：在不支持容错的原生 MPI 库中实现容错功能。这使得应用程序开发人员能够在高故障率下实现容错，同时仍可使用针对特定 HPC 平台优化的高效通信协议。我们还实现了高效的副本相关并行通信技术。该框架处理集成检查点支持和部分复制的独特挑战。我们通过三个应用程序（HPCG、PIC 和 CloverLeaf）进行实验，模拟了 Exascale 计算系统的故障率。我们表明，在预计故障间隔在一小时以内的大规模系统中，基于复制的库比基于检查点的方案在效率和性能上具有优势。我们还表明，在无故障情况下，复制带来的额外开销在本库中可以忽略不计。
引用
@article{arxiv.2504.09989,
title = {FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library},
author = {Sarthak Joshi and Sathish Vadhiyar},
journal= {arXiv preprint arXiv:2504.09989},
year = {2025}
}