拜占庭鲁棒联邦 PCA 与低秩按列感知
信息论
2024-08-12 v3 math.IT
机器学习
摘要
本工作在易受攻击的联邦设定下考虑两个相关的学习问题：联邦主成分分析（PCA）与联邦低秩按列感知（LRCS）。节点攻击假定为拜占庭式，即攻击者可全知且可合谋。我们引入一种新颖的、可证明拜占庭鲁棒、通信高效且样本高效的算法，称为 Subspace-Median，其解决了 PCA 问题，并且是 LRCS 问题解法的关键部分。我们还研究了联邦 PCA 最自然的拜占庭鲁棒解——基于几何中位数的联邦幂方法修正，并解释其为何无效。我们的第二个主要贡献是针对拜占庭鲁棒横向联邦 LRCS 的完整交替梯度下降（GD）与最小化（altGDmin）算法，并给出其样本与通信复杂度保证。大量仿真实验用于佐证我们的理论保证。我们为 LRCS 发展的思想也易于推广至其他低秩恢复问题。
引用
@article{arxiv.2309.14512,
title = {Byzantine-Resilient Federated PCA and Low Rank Column-wise Sensing},
author = {Ankit Pratap Singh and Namrata Vaswani},
journal= {arXiv preprint arXiv:2309.14512},
year = {2024}
}
备注
36 pages