马尔可夫数据的流式 PCA
统计理论
2023-06-21 v2 机器学习
机器学习
统计理论
摘要
自 1982 年提出以来，Oja 算法已成为流式主成分分析（PCA）的既定方法。我们研究流式 PCA 问题，其中数据点采样自不可约、非周期且可逆的马尔可夫链。我们的目标是估计平稳分布未知协方差矩阵的主特征向量。该设定在仅能从马尔可夫链蒙特卡洛（MCMC）类算法采样数据、且目标是对平稳分布参数进行推断的场景中具有意义。文献中 Oja 算法的大多数收敛保证假设数据点独立同分布（IID）采样。对于具有马尔可夫依赖的数据流，通常对数据进行下采样以获得“近似”独立的数据流。本文中，我们获得了 Oja 算法在全部数据上的首个锐收敛速率，去除了因下采样策略丢弃数据而产生的对样本量 的对数依赖。
引用
@article{arxiv.2305.02456,
title = {Streaming PCA for Markovian Data},
author = {Syamantak Kumar and Purnamrita Sarkar},
journal= {arXiv preprint arXiv:2305.02456},
year = {2023}
}