通过聚合归一化梯度实现针对拜占庭攻击和数据异质性的高效联邦学习

联邦学习（FL）使多个客户端能够在无需共享原始数据的情况下协作训练模型，但容易受到拜占庭攻击和数据异质性的影响，这会严重降低性能。现有的拜占庭鲁棒方法解决了数据异质性，但在梯度聚合过程中会产生较高的计算开销，从而减慢了训练过程。为解决此问题，我们提出了一种简单而有效的联邦归一化梯度算法（Fed-NGA），该算法仅通过计算每个客户端归一化梯度的加权平均值来执行聚合。这种方法产生了有利的时间复杂度$\mathcal{O}(pM)$，其中$p$是模型维度，$M$是客户端数量。我们严格证明了Fed-NGA对拜占庭故障和数据异质性都具有鲁棒性。对于非凸损失函数，Fed-NGA在一般假设下收敛到驻点的一个邻域，并在一些温和条件下进一步达到零最优性差距，这是现有文献中很少实现的结果。在这两种情况下，收敛速率均为$\mathcal{O}(1/T^{\frac{1}{2} - \delta})$，其中$T$表示迭代次数，$\delta \in (0, 1/2)$。在基准数据集上的实验结果证实了Fed-NGA相对于现有方法具有优越的时间效率和收敛性能。