线性离散不适定问题 Krylov 迭代求解器 LSQR、CGLS、LSMR 和 CGME 的正则化理论

对于大规模线性离散不适定问题 $\min\|Ax-b\|$ 或 $Ax=b$，其中 $b$ 被白噪声污染，基于 Lanczos 双对角化的 LSQR 及其数学上等价的 CGLS 最为常用。它们具有内在的正则化效应，其中迭代次数 $k$ 扮演正则化参数的角色。然而，迄今为止，对于 Björck 和 Eldén 在 1979 年提出的长期基本关切：{\em 对于何种类型的问题，LSQR 和 CGLS 能够找到最佳可能的正则化解？}，一直没有答案。这里的最佳可能正则化解是指，它至少与通过截断奇异值分解（TSVD）方法或标准形式 Tikhonov 正则化获得的最佳正则化解一样精确，并且在某些条件下无法改进。在本文中，我们详细分析了 LSQR 对严重、中度和轻度不适定问题的正则化效果。对于前两类问题，我们证明 LSQR 在半收敛时找到最佳可能解，并且以下结果在半收敛之前成立：(i) $k$ 步 Lanczos 双对角化总是生成 $A$ 的一个近似最佳秩 $k$ 逼近；(ii) $k$ 个 Ritz 值总是按自然顺序逼近 $A$ 的前 $k$ 个大奇异值；(iii) $k$ 步 LSQR 总是捕获 $A$ 的 $k$ 个主导 SVD 分量；(iv) 由 Lanczos 双对角化生成的双对角矩阵的对角元和次对角元的衰减速度与 $A$ 的奇异值一样快。然而，对于第三类问题，上述结果一般不成立。我们还分析了另外两个 Krylov 求解器 LSMR 和 CGME 的正则化效果，证明对于每一类问题，LSMR 具有与 LSQR 类似的正则化效应，且两者均优于 CGME。数值实验证实了我们关于 LSQR 的理论。