空中自适应联邦学习

我们在空中模型训练框架内提出了自适应梯度方法的联邦版本，特别是 AdaGrad 和 Adam。该方法利用无线信道的固有叠加特性，促进了快速且可扩展的参数聚合。同时，它通过根据全局梯度更新动态调整步长，增强了模型训练过程的鲁棒性。我们针对广泛的非凸损失函数推导了训练算法的收敛速率，其中包含了信道衰落和干扰的影响。我们的分析表明，基于 AdaGrad 的算法以 $\mathcal{O}( \ln{(T)} /{ T^{ 1 - \frac{1}{\alpha} } } )$ 的速率收敛到驻点，其中 $\alpha$ 代表电磁干扰的尾指数。这一结果表明，干扰分布的重尾程度在训练效率中起着至关重要的作用：尾部越重，算法收敛越慢。相比之下，类 Adam 算法以 $\mathcal{O}( 1/T )$ 的速率收敛，展现了其在加速模型训练过程方面的优势。我们进行了广泛的实验，证实了我们的理论发现，并肯定了我们提出的联邦自适应梯度方法的实际有效性。