中文

分布式PCA的广义均值方法

机器学习 2024-10-02 v1 机器学习

摘要

主成分分析(PCA)是一种广泛使用的降维技术。随着数据集规模不断增长,分布式PCA(DPCA)已成为一个活跃的研究领域。DPCA中的一个关键挑战在于,由于计算开销,如何有效地聚合多台机器或计算节点上的结果。Fan等人(2019)引入了一种开创性的DPCA方法来估计前rr阶特征空间,通过平均聚合局部rr阶投影矩阵。然而,他们的方法没有利用特征值信息。在本文中,我们提出了一种新的DPCA方法,该方法通过矩阵β\beta-均值(我们称之为β\beta-DPCA)纳入特征值信息来聚合局部结果。矩阵β\beta-均值通过可调节的β\beta值选择,提供了一种灵活且稳健的聚合方法。值得注意的是,当β=1\beta=1时,它对应于算术均值;当β=1\beta=-1时,对应于调和均值;当β0\beta \to 0时,对应于几何均值。此外,矩阵β\beta-均值被证明与矩阵β\beta-散度(Bregman矩阵散度的一个子类)相关联,以支持β\beta-DPCA的稳健性。我们还研究了β\beta-DPCA在特征值扰动下特征向量排序的稳定性。通过数值研究评估了我们提出的方法的性能。

关键词

引用

@article{arxiv.2410.00397,
  title  = {A Generalized Mean Approach for Distributed-PCA},
  author = {Zhi-Yu Jou and Su-Yun Huang and Hung Hung and Shinto Eguchi},
  journal= {arXiv preprint arXiv:2410.00397},
  year   = {2024}
}

备注

17 pages, 1 table, 1 figure