分布式PCA的广义均值方法
机器学习
2024-10-02 v1 机器学习
摘要
主成分分析(PCA)是一种广泛使用的降维技术。随着数据集规模不断增长,分布式PCA(DPCA)已成为一个活跃的研究领域。DPCA中的一个关键挑战在于,由于计算开销,如何有效地聚合多台机器或计算节点上的结果。Fan等人(2019)引入了一种开创性的DPCA方法来估计前阶特征空间,通过平均聚合局部阶投影矩阵。然而,他们的方法没有利用特征值信息。在本文中,我们提出了一种新的DPCA方法,该方法通过矩阵-均值(我们称之为-DPCA)纳入特征值信息来聚合局部结果。矩阵-均值通过可调节的值选择,提供了一种灵活且稳健的聚合方法。值得注意的是,当时,它对应于算术均值;当时,对应于调和均值;当时,对应于几何均值。此外,矩阵-均值被证明与矩阵-散度(Bregman矩阵散度的一个子类)相关联,以支持-DPCA的稳健性。我们还研究了-DPCA在特征值扰动下特征向量排序的稳定性。通过数值研究评估了我们提出的方法的性能。
关键词
引用
@article{arxiv.2410.00397,
title = {A Generalized Mean Approach for Distributed-PCA},
author = {Zhi-Yu Jou and Su-Yun Huang and Hung Hung and Shinto Eguchi},
journal= {arXiv preprint arXiv:2410.00397},
year = {2024}
}
备注
17 pages, 1 table, 1 figure