通过非对称 SVRG 在近乎线性时间内实现主成分投影与回归

给定数据矩阵 $\mathbf{A} \in \mathbb{R}^{n \times d}$，主成分投影 (PCP) 与主成分回归 (PCR)，即限制于 $\mathbf{A}$ 的顶特征空间的投影与回归，是机器学习、优化与数值分析中的基本问题。在本文中，我们提供了首批在固定特征值分布且 n 较大时以近乎线性时间求解这些问题的算法。这改进了此前在顶特征值个数与特征空间间逆间隙均较大时具有超线性运行时间的方法。我们通过应用有理逼近将 PCP 与 PCR 归约为求解非对称线性系统，并以 SVRG 的一种变体求解之。我们以初步实证实验证实了这些发现。