通信隐藏流水线共轭梯度法最大可达精度的数值分析

Krylov 子空间方法被广泛认为是求解大规模线性系统的高效代数方法。然而，在大规模并行硬件上，这些方法的性能通常受通信延迟而非浮点性能的限制。随着 HPC 硬件向百亿亿次 regime 推进，计算与通信之间的差距持续稳步扩大，迫切需要传统 Krylov 子空间方法的可扩展替代方案。其中一种方法是所谓的流水线 Krylov 子空间方法，它减少了全局同步点的数量，并将全局通信延迟与局部算术运算重叠，从而将全局归约阶段隐藏在有用计算之后。为获得这种重叠，通过对传统 Krylov 子空间算法引入若干使用附加递推关系计算的辅助向量量进行重新表述。尽管流水线 Krylov 子空间方法在精确算术下与传统 Krylov 子空间方法等价，但有限精度下多项递推关系引起的局部舍入误差在实践中可能显著影响收敛性。本数值稳定性研究旨在刻画局部舍入误差对各种流行共轭梯度法的流水线版本中可达精度的影响。推导了用于更新不同 CG 变体中搜索方向的真值与递归计算变量之间间隙的表达式。此外，展示了如何利用这些结果来分析和修正局部舍入误差传播对流水线 CG 方法最大可达精度的影响。本工作的分析辅以数值实验，展示了流水线 CG 方法的数值行为。