FedPower：隐私保护分布式特征空间估计
机器学习
2023-06-28 v2 机器学习
摘要
特征空间估计是机器学习与统计中的基础问题，已应用于 PCA、降维与聚类等。现代机器学习界通常假设数据来自并属于不同组织。低通信能力及数据可能的隐私泄露使特征空间计算颇具挑战。为应对这些挑战，我们在联邦学习（FL）框架下提出一类称为 \textsf{FedPower} 的算法。\textsf{FedPower} 利用著名的幂法，交替进行多次局部幂迭代与全局聚合步骤，从而提升通信效率。在聚合中，我们提出以{\it 正交 Procrustes 变换}（OPT）对每个局部特征向量矩阵加权以获得更好对齐。为确保强隐私保护，我们通过采用\emph{差分隐私}（DP）概念在每次迭代中添加高斯噪声。我们给出了 \textsf{FedPower} 的收敛界，其由对应高斯噪声、并行化及局部机器随机采样效应的不同可解释项组成。此外，我们开展实验以证明所提算法的有效性。
引用
@article{arxiv.2103.00704,
title = {FedPower: Privacy-Preserving Distributed Eigenspace Estimation},
author = {Xiao Guo and Xiang Li and Xiangyu Chang and Shusen Wang and Zhihua Zhang},
journal= {arXiv preprint arXiv:2103.00704},
year = {2023}
}