无方差缩减的指数收敛随机 k-PCA
机器学习
2019-04-04 v1 机器学习
摘要
我们通过将经典的 Krasulina 方法（Krasulina, 1969）从向量情形推广到矩阵情形，提出了 Matrix Krasulina，一种用于在线 k-PCA 的算法。我们从理论与实验上表明，该算法自然适应于数据的低秩性，并指数快速地收敛到真实主子空间。值得注意的是，我们的结果表明，尽管近期各种努力通过添加 O(n) 时间的方差缩减步骤来加速基于随机梯度的方法的收敛，对于 k-PCA 问题，一个真正的在线 SGD 变体就足以在本质低秩数据上实现指数收敛。
引用
@article{arxiv.1904.01750,
title = {Exponentially convergent stochastic k-PCA without variance reduction},
author = {Cheng Tang},
journal= {arXiv preprint arXiv:1904.01750},
year = {2019}
}