BROADCAST：同时降低随机与压缩噪声以增强通信高效联邦学习的鲁棒性
机器学习
2024-02-06 v2 分布式、并行与集群计算
最优化与控制
机器学习
摘要
在大规模联邦学习系统中，工作节点与主节点间为收集局部随机梯度而进行的通信是关键瓶颈。近期多种工作提出压缩局部随机梯度以缓解通信开销。然而，此类设定下很少考虑对恶意攻击的鲁棒性。本工作中，我们研究拜占庭鲁棒压缩联邦学习问题，其中来自拜占庭工作节点的攻击可为任意恶意。我们从理论上指出，与无攻击的压缩随机梯度下降（SGD）不同，其与基于几何中值的鲁棒聚合的朴素结合在存在拜占庭攻击时会严重受困于压缩噪声。鉴于该观察，我们提出利用梯度差分压缩来降低压缩噪声，从而提升拜占庭鲁棒性。我们还观察到由随机采样引起的内在随机噪声的影响，并采用随机平均梯度算法（SAGA）逐步消除常规工作节点的内部方差。我们从理论上证明所提算法以线性收敛速率到达最优解的邻域，且渐近学习误差与最先进的未压缩方法同阶。最后，数值实验证明了所提方法的有效性。
引用
@article{arxiv.2104.06685,
title = {BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning},
author = {Heng Zhu and Qing Ling},
journal= {arXiv preprint arXiv:2104.06685},
year = {2024}
}