随机梯度下降应用于最小二乘的正则化效应

我们研究随机梯度下降应用于 $\|Ax -b \|_2^2 \rightarrow \min$（其中 $A \in \mathbb{R}^{n \times n}$ 可逆）时的行为。我们证明存在一个依赖于 $A$（弱依赖）的显式常数 $c_{A}$，使得 $$\mathbb{E} ~\left\| Ax_{k+1}-b\right\|^2_{2} \leq \left(1 + \frac{c_{A}}{\|A\|_F^2}\right) \left\|A x_k -b \right\|^2_{2} - \frac{2}{\|A\|_F^2} \left\|A^T A (x_k - x)\right\|^2_{2}.$$ 这是一个有趣的不等式：最后一项比其余项多作用于残差 $u_k - u$ 一个矩阵：若 $x_k - x$ 主要由大奇异向量构成，则随机梯度下降会导致快速正则化。对于对称矩阵，该不等式可推广到高阶 Sobolev 空间。这解释了一个（已知的）正则化现象：从大奇异值到小奇异值的能量级联起到了平滑作用。