面向节点失效的可扩展弹性：通信隐藏预处理共轭梯度与共轭残差方法

大规模并行计算机中节点数量的已观测与预期持续增长带来了两大挑战：全局通信操作因其有限的可扩展性而成为主要瓶颈，且节点失效的可能性在增加。我们在求解大型稀疏线性系统的背景下研究应对这些挑战的方法。具体而言，我们关注流水线预处理共轭梯度（PPCG）方法，该方法已被证明能成功应对上述第一个挑战。本文中我们解决第二个挑战。我们对 PPCG 求解器及其两个变体进行了扩展，使其在计算节点失效时具备弹性，同时完全保留其通信隐藏特性及由此带来的可扩展性。基本思想是以极小的开销高效地向邻节点通信少量局部向量元素的冗余副本。若某节点失效，这些冗余副本将在替换节点上收集，该节点随后可精确重建求解器状态中丢失的部分。此后，并行求解器可如同无失效场景一样继续运行。对我们方法的实验评估表明，相较于标准非弹性算法，平均运行时开销非常低。这表明可扩展的算法弹性可以以较低的额外代价实现。