面向稀疏主成分分析的联邦学习
机器学习
2023-11-16 v1 分布式、并行与集群计算
信息论
math.IT
机器学习
摘要
在快速发展的机器学习领域，算法效果常受数据质量与可用性的限制。传统方法因法律与隐私问题难以进行数据共享。联邦学习框架应对了这一挑战。联邦学习是一种去中心化方法，模型训练在客户端进行，通过保持数据本地化来保护隐私。仅交换模型更新而非发送原始数据至中心服务器，从而增强数据安全性。我们在本工作中将该框架应用于稀疏主成分分析（SPCA）。SPCA旨在获得稀疏的成分载荷，同时最大化数据方差以提升可解释性。除常规SPCA中的L1范数正则化项外，我们加入平滑函数以方便基于梯度的优化方法。此外，为提高计算效率，我们引入对原始SPCA的最小二乘近似。这使得优化过程可获得解析解，带来显著的计算改进。在联邦框架内，我们将SPCA表述为一致性优化问题，可使用交替方向乘子法（ADMM）求解。我们的大量实验涉及不同数据拥有方下的IID与非IID随机特征。在合成与公开数据集上的结果证实了我们的联邦SPCA方法的有效性。
引用
@article{arxiv.2311.08677,
title = {Federated Learning for Sparse Principal Component Analysis},
author = {Sin Cheng Ciou and Pin Jui Chen and Elvin Y. Tseng and Yuh-Jye Lee},
journal= {arXiv preprint arXiv:2311.08677},
year = {2023}
}
备注
11 pages, 7 figures, 1 table. Accepted by IEEE BigData 2023, Sorrento, Italy