FedLGA：通过局部梯度近似应对联邦学习中的系统异构性

联邦学习（FL）是一种去中心化的机器学习架构，它利用大量远程设备以分布式训练数据学习联合模型。然而，系统异构性是 FL 网络中实现鲁棒分布式学习性能的主要挑战之一，它来自两个方面：i) 由于设备间计算能力差异导致的设备异构性；ii) 由于网络中数据非独立同分布导致的数据异构性。先前解决异构 FL 问题的研究（例如 FedProx）缺乏形式化描述，这仍是一个开放问题。本文首先形式化了系统异构 FL 问题，并提出了一种称为 FedLGA 的新算法，通过梯度近似弥合局部模型更新的分歧来解决该问题。为此，FedLGA 提供了一种交替 Hessian 估计方法，仅在聚合器上需要额外的线性复杂度。理论上，我们证明在设备异构比率为 $\rho$ 时，FedLGA 在非凸优化问题上对 non-i.i.d. 分布式 FL 训练数据取得收敛速率，在全部与部分设备参与情况下分别为 $\mathcal{O} \left( \frac{(1+\rho)}{\sqrt{ENT}} + \frac{1}{T} \right)$ 和 $\mathcal{O} \left( \frac{(1+\rho)\sqrt{E}}{\sqrt{TK}} + \frac{1}{T} \right)$，其中 $E$ 为局部学习轮数，$T$ 为总通信轮数，$N$ 为设备总数，$K$ 为部分参与方案下每轮通信所选设备数。在多个数据集上的综合实验结果表明，FedLGA 在系统异构性下优于当前 FL 方法。