关于随机 SVD 的噪声敏感性

随机奇异值分解（R-SVD）是一种流行的基于草图的算法，用于高效计算大矩阵的部分 SVD。当矩阵为低秩时，R-SVD 精确产生其部分 SVD；但当秩较大时，它仅产生近似。受数据科学和主成分分析（PCA）应用的启发，我们在低秩信号加噪声测量模型下分析 R-SVD；具体而言，当其输入为尖峰随机矩阵时。所示 R-SVD 产生的奇异值表现出类 BBP 相变：当 SNR 超过某个依赖于降维因子的可检测阈值时，最大奇异值为离群值；低于阈值时，奇异值主体中无离群值出现。我们进一步计算了真实信号奇异向量与 R-SVD 产生的近似之间的重叠的渐近公式。降维具有以高度非线性方式放大噪声的不利影响。我们的结果展示了 R-SVD 相对于更朴素的草图 PCA 变体在信号检测和估计两方面的统计优势；当草图维度较小时优势尤为显著。我们的分析是渐近精确的，且比现有的 R-SVD 算子范数误差界细致得多，后者在很大程度上无法在中等 SNR 区间内给出有意义的误差估计。它适用于文献中先前考虑的广泛草图矩阵族，包括高斯 i.i.d. 草图、随机投影和子采样 Hadamard 变换等。最后，我们推导了针对通过 R-SVD 获得的奇异值和向量的一种最优奇异值收缩器，这可能有助于矩阵去噪应用。