噪声幂方法的改进间隙依赖分析

我们考虑噪声幂方法算法，该算法在机器学习和统计学中有广泛应用，特别是那些与资源（通信、内存或隐私）约束下的主成分分析（PCA）相关的应用。现有对噪声幂方法的分析显示出对输入数据矩阵的“连续”谱间隙 $(\sigma_k-\sigma_{k+1})$ 的不尽如人意的依赖性，该间隙可能非常小从而限制了算法的适用性。在本文中，我们提出了对噪声幂方法的新分析，在样本复杂度和噪声容限边界方面均实现了改进的间隙依赖。更具体地，我们将对 $(\sigma_k-\sigma_{k+1})$ 的依赖改进为对 $(\sigma_k-\sigma_{q+1})$ 的依赖，其中 $q$ 是一个中间算法参数，且可能远大于目标秩 $k$。我们的证明建立在对两个子空间之间邻近性的新表征之上，这不同于先前工作中分析的规范角表征。最后，我们将改进的边界应用于分布式隐私 PCA 和内存高效流式 PCA，获得了优于文献中现有结果的边界。