无需主成分分析的主成分投影

我们展示了如何在不显式计算主成分的情况下，将向量高效地投影到矩阵的前几个主成分上。具体而言，我们提出了一种迭代算法，该算法通过调用任意黑箱岭回归例程，以可证明的方式计算投影。通过避免显式的主成分分析（PCA），我们的算法是首个运行时间与前几个主成分数量无关的算法。我们证明它可用于为主成分回归问题提供一种快速的迭代方法，相比将 PCA 与回归相结合的朴素方法，实现了首个主要的运行时间改进。为取得我们的结果，我们首先观察到岭回归可用于获得对前几个主成分的"平滑投影"。然后，我们利用矩阵阶跃函数的低次多项式逼近来锐化这一近似，使其成为真正的投影。阶跃函数逼近是科学计算中长期感兴趣的主题。我们通过构造具有简单迭代结构的多项式并严格分析其在有限精度下的行为，扩展了先前的理论。