迭代高斯-赛德尔 GMRES

Saad 和 Schultz（1986）提出的 GMRES 算法是一种迭代方法，用于近似求解线性系统 $A{\bf x}={\bf b}$，其初始猜测为 ${\bf x}_0$，残差为 ${\bf r}_0 = {\bf b} - A{\bf x}_0$。该算法采用 Arnoldi 过程生成 Krylov 基向量（矩阵 $V_k$ 的列）。众所周知，此过程在每次迭代中可视为矩阵 $B_k = [\: {\bf r}_0, AV_k\:]$ 的 $QR$ 分解。尽管存在 ${O}(\epsilon)\kappa(B_k)$ 的正交性损失，对于单位舍入误差 $\epsilon$ 和条件数 $\kappa$，Paige 等人（2006）在其开创性论文中证明了修正的 Gram-Schmidt 公式是向后稳定的。我们基于 Ruhe（1983）和 Świrydowicz 等人（2020）的思想，提出了一种 GMRES 算法的迭代高斯-赛德尔公式（IGS-GMRES）。IGS-GMRES 将正交性维持在 ${O}(\epsilon)\kappa(B_k)$ 或 ${O}(\epsilon)$ 的水平，具体取决于选择一次还是两次迭代；对于两次高斯-赛德尔迭代，计算出的 Krylov 基向量保持正交性至工作精度，并且 $V_k$ 的最小奇异值保持接近 1。由此产生的 GMRES 方法是向后稳定的。我们证明 IGS-GMRES 每次迭代只需一个同步点即可实现，这使其适用于大规模并行计算环境。我们还证明，与 MGS-GMRES 不同，在 IGS-GMRES 中，即使对于高度非正规系统，对应于计算出的近似解的相对 Arnoldi 残差也不再停滞在机器精度之上。