在线主成分估计的扩散逼近与全局收敛
机器学习
2018-08-30 v1 机器学习
摘要
本文提出采用扩散逼近工具研究Oja迭代的动力学，Oja迭代是一种用于主成分分析的在线随机梯度下降方法。Oja迭代从流数据中维护真实主成分的滚动估计，并具有较低的时间与空间复杂度。我们证明，用于顶部特征向量的Oja迭代在单位球上生成一个连续状态离散时间马尔可夫链。我们利用扩散逼近与弱收敛工具将Oja迭代刻画为三个阶段。我们的三阶段分析进一步给出了该滚动估计的有限样本误差界，在样本有界的附加假设下与主成分分析的最小最大信息下界相匹配。
引用
@article{arxiv.1808.09645,
title = {Diffusion Approximations for Online Principal Component Estimation and Global Convergence},
author = {Chris Junchi Li and Mengdi Wang and Han Liu and Tong Zhang},
journal= {arXiv preprint arXiv:1808.09645},
year = {2018}
}
备注
Appeared in NIPS 2017