用于在线 PCA 的随机 Gauss-Newton 算法

Siyun Zhou; Xin Liu; Liwei Xu

用于在线 PCA 的随机 Gauss-Newton 算法

最优化与控制 2022-10-25 v2

作者: Siyun Zhou , Xin Liu , Liwei Xu

摘要

本文中，我们提出一种随机 Gauss-Newton (SGN) 算法来研究在线主成分分析 (OPCA) 问题，该问题通过用于主导特征空间计算的对称低秩乘积 (SLRP) 模型表述。与现有 OPCA 求解器相比，SGN 对变化输入数据与算法参数具有更强的鲁棒性。此外，借助于基于近似目标函数的数据流评估，我们为 SGN 开发了一种新的自适应步长策略 (AdaSGN)，其不需要输入数据的先验知识，并通过数值实验说明了其与采用手动调优递减步长的 SGN 具有相当的性能。在不假设特征间隙为正的条件下，我们还利用扩散近似理论建立了采用指定步长的 SGN 的全局最优收敛速率。

关键词

随机 Gauss-Newton 在线主成分分析对称低秩乘积自适应步长收敛速率扩散近似

引用

@article{arxiv.2203.13081,
  title  = {Stochastic Gauss-Newton Algorithms for Online PCA},
  author = {Siyun Zhou and Xin Liu and Liwei Xu},
  journal= {arXiv preprint arXiv:2203.13081},
  year   = {2022}
}

备注

31 pages, 11 figures

用于在线 PCA 的随机 Gauss-Newton 算法

摘要

关键词

引用

备注

相关论文