面向鲁棒联邦学习的降维：理论分析与收敛性保证
机器学习
2026-05-28 v1
摘要
联邦学习(FL)使多个客户端能够在不共享原始数据的情况下协作训练模型，但它极易受到拜占庭攻击。现有的鲁棒方法可以消除这些威胁，但在高维梯度聚合过程中会带来巨大的计算开销，这种开销随模型大小扩展性差，并且随着现代模型越来越大，在训练成本中占据主导地位。为了解决这一计算瓶颈，我们提出了投影降维(PDR)，这是一个针对向量级距离鲁棒聚合器的通用加速框架，它通过稀疏随机投影将梯度压缩到一个大幅缩小的子空间中来高效计算可靠性权重，从而执行鲁棒聚合。这种方法将服务器的计算复杂度降低到最优的，其中是客户端数量，是模型维度，匹配了仅读取梯度所需的理论下界。我们在先前拜占庭鲁棒FL分析中的标准FL假设下建立了收敛性保证。通过利用子空间嵌入定理，我们证明了PDR对于非凸函数实现了的最优收敛率，对于强凸函数实现了的最优收敛率，其中表示迭代次数。至关重要的是，我们从数学上证明了这种巨大的加速几乎是免费的，仅仅将固有的拜占庭误差下限膨胀了一个有界、可调的因子。在基准数据集上的实验结果证实，将PDR与现有聚合器集成，在时间效率上实现了数量级的加速，同时保持了高度有竞争力的收敛性能。
引用
@article{arxiv.2605.28335,
title = {Dimensionality Reduction for Robust Federated Learning: A Theoretical Analysis and Convergence Guarantee},
author = {Shiyuan Zuo and Jiashuo Li and Rongfei Fan and Han Hu and Jie Xu},
journal= {arXiv preprint arXiv:2605.28335},
year = {2026}
}