两阶段块正交化以提升 $s$-step GMRES 性能
数值分析
2024-02-26 v1 分布式、并行与集群计算
数值分析
摘要
在当前的计算机架构上，GMRES 的性能可能受到生成 Krylov 子空间标准正交基向量的通信成本限制。为解决这一性能瓶颈，其 -step 变体每次对一块 个基向量进行正交化，潜在地将通信成本降低了 倍。不幸的是，对于较大的步长 ，求解器可能生成条件数极差的基向量，为了在实践中保持稳定性，通常使用保守的小步长，这限制了 -step 求解器的性能。为了在使用小步长的情况下提升性能，本文引入了一种两阶段块正交化方案。与原始方案类似，所提出方法的第一阶段每次也处理一块 个基向量，但其目标是以较低的成本维持生成基向量的良好条件数。基向量的正交化被推迟到第二阶段，即在生成足够多的基向量以获得更高性能时再进行。我们的分析表明了所提出的两阶段方案的稳定性。性能得到提升是因为，虽然所需的计算量与原始方案相同，但大部分通信是在所提出方案的第二阶段完成的，从而减少了整体通信需求。我们在 Summit 超级计算机上使用多达 192 块 NVIDIA V100 GPU 的性能结果表明，在求解二维 Laplace 问题时，两阶段方法可将正交化时间和总求解时间分别减少至原始 -step GMRES 的 和 （原始 -step GMRES 相较于标准 GMRES 已分别获得了 和 的加速）。对于三维问题和来自 SuiteSparse Matrix Collection 的矩阵，也获得了类似的加速比。
引用
@article{arxiv.2402.15033,
title = {Two-Stage Block Orthogonalization to Improve Performance of $s$-step GMRES},
author = {Ichitaro Yamazaki and Andrew J. Higgins and Erik G. Boman and Daniel B. Szyld},
journal= {arXiv preprint arXiv:2402.15033},
year = {2024}
}
备注
Accepted for publication in IPDPS'24