在非 IID 联邦学习中通过部分工人参与实现线性加速

联邦学习（FL）是一种分布式机器学习架构，利用大量工人以去中心化数据联合学习模型。近年来，FL 因数据隐私保护、通信效率及训练收敛的线性加速（即收敛性能随工人数量线性提升）而受到越来越多的关注。然而，现有关于收敛线性加速的研究仅局限于工人间 i.i.d. 数据集和/或全员参与的假设，而这两者在实际中均很少成立。迄今为止，在非 IID 数据集且部分工人参与的 FL 下收敛的线性加速是否可实现仍是一个开放问题。本文中，我们给出肯定答案。具体而言，我们证明在非凸设定下，非 IID 数据集上的联邦平均（FedAvg）算法（采用双侧学习率）在全员参与时达到收敛速率 $\mathcal{O}(\frac{1}{\sqrt{mKT}} + \frac{1}{T})$，在部分工人参与时达到收敛速率 $\mathcal{O}(\frac{\sqrt{K}}{\sqrt{nT}} + \frac{1}{T})$，其中 $K$ 为本地步数，$T$ 为总通信轮数，$m$ 为总工人数，$n$ 为部分工人参与时一轮通信中的工人数。我们的结果还揭示 FL 中的本地步数有助于收敛，并表明全员参与时最大本地步数可提升至 $T/m$。我们在 MNIST 与 CIFAR-10 上进行了大量实验以验证理论结果。