面向内存受限流式 PCA 的两类算法之争
机器学习
2015-10-13 v2 机器学习
摘要
我们研究了在流式设置下，以 的内存界限恢复 维数据前 个主成分所张成子空间的问题。已知有两类算法解决该问题。第一类基于随机梯度下降框架。然而，该类的收敛速率会受下降步长学习率的严重影响，值得更深入的研究。第二类基于数据块上的幂法，但为其现有算法设置块大小并非易事。本文中，我们分析第一类在一般 情况下的一个具有衰减学习率的代表性算法（Oja and Karhunen, 1985）的收敛速率。此外，我们提出第二类的新型算法，可自动动态地设置块大小并以更快收敛速率运行。随后我们进行了实证研究，在真实世界数据上公平比较这两类算法。这些研究揭示了两类算法的优缺点。
引用
@article{arxiv.1506.01490,
title = {Rivalry of Two Families of Algorithms for Memory-Restricted Streaming PCA},
author = {Chun-Liang Li and Hsuan-Tien Lin and Chi-Jen Lu},
journal= {arXiv preprint arXiv:1506.01490},
year = {2015}
}