线性离散不适定问题的 Krylov 迭代求解器 CGME 与 LSMR 的正则化性质及其在截断随机 SVD 中的应用

对于大规模线性离散不适定问题 $\min\|Ax-b\|$ 或 $Ax=b$（其中 $b$ 受高斯白噪声污染），有四种常用的 Krylov 求解器：LSQR 及其数学等价的 CGLS、应用于 $A^TAx=A^Tb$ 的共轭梯度（CG）法、CGME（即应用于 $\min\|AA^Ty-b\|$ 或 $AA^Ty=b$ 且 $x=A^Ty$ 的 CG 法），以及 LSMR（即应用于 $A^TAx=A^Tb$ 的最小残差（MINRES）法）。这些方法具有内在正则化效应，其中迭代次数 $k$ 起到正则化参数的作用。本文建立了 CGME 和 LSMR 的若干正则化性质，包括 CGME 迭代量的滤波 SVD 展开，并证明 CGME 和 LSMR 的 2-范数滤波最佳正则化解分别不如 LSQR 的精确和至少与 LSQR 的一样精确。我们还证明 CGME 和 LSMR 的半收敛分别总是不晚于和早于 LSQR 的半收敛发生。作为副产品，利用针对 CGME 的分析方法，我们改进了关于随机算法生成的 $A$ 的截断秩 $k$ 近似 SVD 精度的基本结果，并揭示了截断步骤如何损害精度。数值实验验证了我们对 CGME 和 LSMR 的结果。