随机化扩展高斯-赛德尔与卡茨马尔兹方法的收敛性质

卡茨马尔兹(Kaczmarz)和高斯-赛德尔(Gauss-Seidel)方法都通过迭代细化解估计来求解线性系统 $\bf{X}\bf{\beta} = \bf{y}$。Strohmer和Vershynin的证明表明随机化卡茨马尔兹方法在期望中线性收敛到解，这引发了近期对这些方法的兴趣。Lewis和Leventhal随后证明了随机化高斯-赛德尔算法的类似结果。然而，这两种方法的行为严重依赖于系统是欠定还是超定，以及是否一致。本文我们提供了这两种方法及其针对不同情形的变体的统一理论，并建立了两种方法之间的联系。在此过程中，我们还证明了随机化高斯-赛德尔的扩展版本在欠定情况下线性收敛到最小范数解（而通常的随机化高斯-赛德尔无法收敛）。我们从解析和实验上详细阐述了两种方法及其扩展变体在所有可能系统设置下的收敛性质。借助该结果，给出了两种方法的完整且严谨的理论。