行与列：岭回归的随机化 Kaczmarz 或 Gauss-Seidel 方法

Kaczmarz 方法与 Gauss-Seidel 方法旨在通过迭代精化解估计来求解线性 $m \times n$ 系统 $\boldsymbol{X} \boldsymbol{\beta} = \boldsymbol{y}$；前者利用 $\boldsymbol{X}$ 的随机行{根据对应方程更新 $\boldsymbol{\beta}$}，后者利用 $\boldsymbol{X}$ 的随机列{更新 $\boldsymbol{\beta}$ 中对应的坐标}。Strohmer 和 Vershynin 对一种\textit{随机化} Kaczmarz 方法变体 (RK) 给出了期望线性收敛的证明，随后 Lewis 和 Leventhal 对随机化 Gauss-Seidel 算法 (RGS) 也证明了类似结果，这重新激发了人们对这些方法的兴趣。近期的工作统一了对这些算法在超定和欠定系统中的分析，分别展示了对普通最小二乘 (OLS) 解和最小欧几里得范数解的收敛性。本文考虑 OLS 问题的自然延伸——岭回归，即求解 $(\boldsymbol{X}^* \boldsymbol{X} + \lambda \boldsymbol{I}) \boldsymbol{\beta} = \boldsymbol{X}^* \boldsymbol{y}$。我们提出求解该系统的 RK 和 RGS 的特定变体，并推导其收敛速率。我们将这些方法与 Ivanov 和 Zhdanov 最近提出的求解该系统的方法进行比较，后者可解释为同时随机采样行和列，我们认为这通常是次优的。相反，我们主张当 $m > n$ 时应始终使用 RGS (列)，而当 $m < n$ 时应始终使用 RK (行)。这种行为差异简单地与两个相关半正定矩阵 $\boldsymbol{X}^* \boldsymbol{X} + \lambda \boldsymbol{I}_n$ 和 $\boldsymbol{X} \boldsymbol{X}^* + \lambda \boldsymbol{I}_m$ 在 $m > n$ 或 $m < n$ 时的最小特征值有关。