流式PCA：匹配矩阵Bernstein不等式及Oja算法的近最优有限样本保证

本工作为流式主成分分析（PCA）提供了改进的保证。给定独立采样自满足$\mathbb{E}[A_i] = \Sigma$（$\Sigma \succeq \mathbf{0}$）的分布的$A_1, \ldots, A_n\in \mathbb{R}^{d\times d}$，本工作提供了一种$O(d)$空间线性时间单遍流式算法，用于估计$\Sigma$的主特征向量。该算法几乎匹配（且在某些情况下改进了）由矩阵Bernstein不等式所分析的、计算经验协方差$\frac{1}{n} \sum_{i \in [n]} A_i$主特征向量的标准批处理方法的精度。此外，为实现恒定精度，我们的算法将流式算法先前已知的最佳样本复杂度改进了$O(d)$或$1/\mathrm{gap}$的乘法因子，其中$\mathrm{gap}$是$\Sigma$的前两个特征值之间的相对距离。这些结果通过对经典Oja算法的全新分析得以实现，Oja算法是最古老且最流行的流式PCA算法之一。特别地，本工作表明，简单地选取随机初始点$w_0$并应用更新规则$w_{i + 1} = w_i + \eta_i A_i w_i$，配合适当选择的$\eta_i$，就足以准确估计主特征向量。我们相信我们的结果阐明了如何在理论和实践中高效执行流式PCA，并希望我们的分析可作为分析流式PCA许多变体和扩展的基础。