无正交约束的 Krasulina k-PCA 更新的隐式形式
机器学习
2019-09-12 v1 机器学习
摘要
我们对在线 -PCA 问题中两种常用更新,即 Krasulina 更新与 Oja 更新,给出了新的见解。我们证明 Krasulina 更新对应于在正交 -标架的 Stiefel 流形上的投影梯度下降步,而 Oja 更新相当于使用未投影梯度的梯度下降步。基于这些观察,我们推导了 Krasulina 的 -PCA 更新的一种更\emph{隐式}形式,即尽可能利用未来梯度信息的版本。最有趣的是,我们的隐式 Krasulina 更新通过绕过正交约束,避免了代价高昂的 QR 分解步骤。我们证明这一新更新实际上对应于应用于概率 -PCA 模型的在线 EM 步。更新的概率视角使我们能够在分布式设置中组合多个模型。我们通过实验表明,隐式 Krasulina 更新在显著更快的同时获得了更优的收敛性。我们还给出有力证据,表明新更新可从并行化中受益,并且对学习率调参更为稳定。
引用
@article{arxiv.1909.04803,
title = {An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint},
author = {Ehsan Amid and Manfred K. Warmuth},
journal= {arXiv preprint arXiv:1909.04803},
year = {2019}
}