拜占庭鲁棒联邦学习：客户端二次采样与本地更新的影响
机器学习
2024-06-11 v2
摘要
对抗性（又称拜占庭）客户端的可能性使得联邦学习（FL）容易受到任意操纵。使FL抵御对抗性客户端的天然方法是，将标准 算法中服务器端的简单平均操作替换为鲁棒平均规则。尽管已有大量工作致力于研究联邦鲁棒平均（我们将其记为 ）的收敛性，但先前的工作在很大程度上忽略了客户端二次采样和本地步骤的影响，这是FL的两个基本特征。客户端二次采样增加了拜占庭客户端的有效比例，而本地步骤增加了诚实（即非拜占庭）客户端计算的本地更新之间的漂移。因此，草率部署 可能会导致性能不佳。我们通过对 进行深入分析，紧密分析客户端二次采样和本地步骤的影响，验证了这一观察。具体而言，我们提出了客户端二次采样的充分条件，以实现 的近最优收敛（针对平滑非凸损失）。此外，我们表明，一旦样本量超过阈值，学习准确性的提升速率相对于二次采样的客户端数量会递减。有趣的是，我们还观察到，在仔细选择步长的情况下，由拜占庭客户端引起的学习误差会随着本地步骤数量的增加而减少。我们通过在FEMNIST和CIFAR-图像分类任务上的实验验证了我们的理论。
引用
@article{arxiv.2402.12780,
title = {Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates},
author = {Youssef Allouah and Sadegh Farhadkhani and Rachid GuerraouI and Nirupam Gupta and Rafael Pinot and Geovani Rizk and Sasha Voitovych},
journal= {arXiv preprint arXiv:2402.12780},
year = {2024}
}