SWIFT：基于无等待模型通信的快速去中心化联邦学习

去中心化联邦学习（FL）设置通过利用客户端群组进行本地化训练和模型/梯度共享来协作训练模型，从而避免了潜在不可靠或不值得信任的中心主机的角色。大多数现有的去中心化 FL 算法需要客户端模型同步，而同步速度取决于最慢的客户端。在这项工作中，我们提出 SWIFT：一种新颖的无等待去中心化 FL 算法，允许客户端以其自身的速度进行训练。理论上，我们证明 SWIFT 在凸和非凸光滑优化（总迭代次数 $T$）上匹配并行随机梯度下降的黄金标准迭代收敛速率 $\mathcal{O}(1/\sqrt{T})$。此外，我们给出了 IID 和非 IID 设置下的理论结果，且不需要其他异步去中心化 FL 算法所要求的慢客户端有界延迟假设。尽管 SWIFT 相对于 $T$ 达到了与其他最先进（SOTA）并行随机算法相同的迭代收敛速率，但由于其无等待结构，它相对于运行时间收敛更快。我们的实验结果表明，SWIFT 的运行时间因每轮通信时间大幅减少而降低，与同步对应方法相比降低了一个数量级。此外，在 IID 和非 IID 数据设置下，SWIFT 生成图像分类损失水平的速度比现有 SOTA 算法快 50% 以上。