AdaOja：面向流式 PCA 的自适应学习率

自 1982 年首次提出以来，Oja 算法一直是主成分分析（PCA）中流式方法的基石。然而，Oja 算法并没有一种标准化的学习率（步长）选择，既能在实际应用中表现良好，又真正符合在线流式设置。在本文中，我们为 Oja 方法提出了一种称为 AdaOja 的新学习率方案。该新算法仅需对数据进行一次遍历，且不依赖于事先知道数据集的性质。AdaOja 是 Adagrad 算法在单特征向量情形下对 Oja 算法的全新变体，并扩展到了多特征向量情形。我们针对稠密合成数据、稀疏真实世界数据和稠密真实世界数据证明，AdaOja 优于 Oja 方法常见的学习率选择。我们还表明，在同一流式 PCA 设置下，AdaOja 的性能可与最先进的算法（History PCA 和 Streaming Power Method）相媲美。