如何使预条件共轭梯度法对多节点故障具有弹性
分布式、并行与集群计算
2019-08-21 v1
摘要
我们研究了在大规模并行计算机上，并行预条件共轭梯度（PCG）求解器中多个计算节点发生故障时进行恢复的算法途径。特别地，我们分析并扩展了一种精确状态重构（ESR）方法，该方法基于 Chen（2011）提出的方法。在 ESR 方法中，求解器保留来自先前搜索方向的冗余信息，从而可在节点意外失效时完全重构求解器状态。ESR 不需要对动态求解器数据进行 checkpointing 或外部存储，且与无故障情况相比开销很低。在本文中，我们基于 ESR 方法改进了 PCG 算法的容错性。特别地，我们支持对系统矩阵一般稀疏模式下多个节点同时或重叠故障的恢复，这是 Chen 的方法无法处理的。为此，我们改进了跨节点存储冗余信息的策略。我们分析并实现了新方法，并在 Vienna Scientific Cluster（VSC）的 128 个节点上使用来自真实应用的大型稀疏矩阵进行了数值实验。对于从三个同时节点故障中恢复，我们观测到的平均运行时间开销仅在 2.8% 到 55.0% 之间。改进后的弹性开销取决于系统矩阵的稀疏模式。
引用
@article{arxiv.1907.13077,
title = {How to Make the Preconditioned Conjugate Gradient Method Resilient Against Multiple Node Failures},
author = {Carlos Pachajoa and Markus Levonyak and Wilfried N. Gansterer and Jesper Larsson Träff},
journal= {arXiv preprint arXiv:1907.13077},
year = {2019}
}
备注
10 pages, 4 figures, 3 tables