随机化 SVD 的扰动分析及其在统计学中的应用

随机化奇异值分解（RSVD）是一类用于计算大型数据矩阵截断 SVD 的计算高效算法。给定一个 $m \times n$ 矩阵 $\widehat{{\mathbf M}}$，典型的 RSVD 算法通过计算 $\widehat{\mathbf{M}} (\widehat{{\mathbf M}}^{\top} \widehat{\mathbf{M}})^{g} \mathbf G$ 的 SVD 来输出 $\widehat{\mathbf{M}}$ 的前 $k$ 个主导左奇异向量的近似；这里 $g \geq 1$ 是一个整数，$\mathbf G \in \mathbb{R}^{n \times \widetilde{k}}$ 是一个随机高斯草图矩阵，且 $\widetilde{k} \geq k$。在本文中，我们推导了 $\widehat{\mathbf{M}}$ 的精确左奇异向量 $\widehat{\mathbf{U}}$ 与其近似 $\widehat{\mathbf{U}}_g$（通过 RSVD 获得）之间的 $\ell_2$ 和 $\ell_{2,\infty}$ 距离的上界，以及当 $\widehat{\mathbf{M}}$ 被投影到 $\widehat{\mathbf{U}}_g \widehat{\mathbf{U}}_g^{\top}$ 上时的逐元素误差界。这些界取决于奇异值间隙和幂迭代次数 $g$，较小的间隙需要较大的 $g$ 值来保证 $\ell_2$ 和 $\ell_{2,\infty}$ 距离的收敛。我们将理论结果应用于 $\widehat{\mathbf{M}}$ 是某个未观测信号矩阵 $\mathbf{M}$ 的加性扰动的情形。特别地，我们在三个推断问题上获得了 RSVD 的近乎最优的收敛速度和渐近正态性，即随机图中的子空间估计和社区发现、含噪声矩阵补全以及带有缺失数据的 PCA。