流式 k-PCA 的首个高效收敛：全局、无间隙且近最优的速率

我们研究流式主成分分析（PCA），即在 $O(dk)$ 空间内，利用来自协方差矩阵 $\bf \Sigma$ 的在线向量求解 $d\times d$ 隐矩阵 $\bf \Sigma$ 的前 $k$ 个特征向量。我们为 Oja 算法提供了全局收敛证明，该算法在实践中被广泛使用，但在 $k>1$ 时缺乏理论支撑。我们还提供了一个改进的变体 $\mathsf{Oja}^{++}$，其运行速度比 Oja 算法更快。我们的结果在多对数因子范围内，在误差、特征间隙、秩 $k$ 以及维度 $d$ 的依赖关系上匹配了信息论下界。此外，我们的收敛速率可以做到无间隙，即与近似误差成正比且独立于特征间隙。相比之下，对于一般的秩 $k$，在我们之前的工作中：(1) 设计任何具有高效全局收敛速率的算法是一个开放问题；(2) 在 $O(dk)$ 空间内设计任何具有（甚至是局部的）无间隙收敛速率的算法也是一个开放问题。