抗 Byzantine 攻击的数据异构性联邦学习

本文聚焦在恶意 Byzantine 攻击和数据异构性背景下的联邦学习(FL)。我们引入一种新型鲁棒平均梯度算法(RAGA)，其使用几何中位数进行聚合，并允许灵活的本地更新轮数。与大多数现有鲁棒方法不同，本工作针对strongly-convex损失函数或均匀分布数据集进行收敛分析，转而对strongly-convex和non-convex损失函数在异构数据集上进行收敛分析。理论分析表明，只要恶意用户的数据比例小于二分之一，RAGA即可以$\mathcal{O}({1}/{T^{2/3- \delta}})$的速率收敛non-convex损失函数，其中T为迭代次数，$\delta \in (0, 2/3)$。对于strongly-convex损失函数，收敛速率为线性。此外，还证明当数据异构性减小时，可达到 stationary point或全局最优解。实验结果验证了RAGA在Byzantine攻击下的鲁棒性，并在异构数据集上表现出优于基线方法的更好收敛性能。