低精度流式主成分分析
机器学习
2025-10-28 v1 机器学习
摘要
在有限精度下，我们研究了低精度流式主成分分析（PCA）用于估计前主成分。我们给出实现目标精度所需量化分辨率的信息论下界。我们研究在线性与非线性随机量化下的Oja算法用于流式PCA。量化变体使用权重向量和更新的无偏随机量化。我们在数据分布满足一定矩条件和光谱间隙假设下，证明批处理版本在两种方案下均可达到下界的对数因子范围。这导致在非线性量化设置下几乎维度无关的量化误差。合成数据流上的实证评估验证了我们的理论结果，表明我们的低精度方法在接近标准Oja算法性能方面表现良好。
引用
@article{arxiv.2510.22440,
title = {Low-Precision Streaming PCA},
author = {Sanjoy Dasgupta and Syamantak Kumar and Shourya Pandey and Purnamrita Sarkar},
journal= {arXiv preprint arXiv:2510.22440},
year = {2025}
}