Oja 在线主成分流的收敛性
经典分析与常微分方程
2022-02-24 v1 动力系统
摘要
在线主成分分析（PCA）在实践中已成为一种高效的降维工具。然而，相应 ODE 的收敛性质仍属未知，包括全局收敛、稳定流形与收敛速率。本文关注 Oja 提出的随机梯度上升（SGA）方法。通过将相应 ODE 视为 Stiefel 流形上的 Landau-Lifshitz-Gilbert（LLG）方程，我们证明了该 ODE 的全局收敛性。此外，我们发展了一种确定稳定流形的新技术。该技术分析了初始数据的秩。利用此技术，我们导出了稳定流形的显式表达式。作为推论，我们也证明了到稳定平衡点的指数收敛。这一新技术的成功应归因于 SGA 方法的半解耦性质：先前分量的迭代不依赖于后续分量。据我们所知，我们的结果是关于在线 PCA 流收敛性的首个完整结果，给出了全局收敛性、稳定流形的显式刻画，以及依赖于谱间隙的指数收敛闭式公式。
引用
@article{arxiv.2202.11308,
title = {Convergence of Oja's online principal component flow},
author = {Jian-Guo Liu and Zibu Liu},
journal= {arXiv preprint arXiv:2202.11308},
year = {2022}
}