通过隐式 Gossiping 赋能联邦学习：在未知与任意动态中缓解连接不可靠性

联邦学习是一种流行的分布式学习方法，用于在不泄露原始数据的情况下训练机器学习模型。它由一个参数服务器和可能大量客户端组成（例如，在跨设备联邦学习中），这些客户端可能在拥塞和不断变化的环境中运行。在本文中，我们研究了存在随机和动态通信故障的联邦学习，其中参数服务器与客户端 $i$ 之间的上行链路在第 $t$ 轮中以未知概率 $p_i^t$ 开启。此外，我们允许 $p_i^t$ 的动态是任意的。我们首先证明，当各客户端的 $p_i^t$ 不同时，最广泛采用的联邦学习算法 Federated Average (FedAvg) 会产生显著偏差。为了解决这一观察结果，我们提出了 Federated Postponed Broadcast (FedPBC)，这是 FedAvg 的一个简单变体。FedPBC 与 FedAvg 的不同之处在于，参数服务器将全局模型的广播推迟到每轮结束时进行。尽管存在上行链路故障，我们证明 FedPBC 收敛到原始非凸目标函数的平稳点。在技术层面上，推迟全局模型广播使得在第 $t$ 轮中具有活跃链路的客户端之间能够进行隐式 gossiping。尽管 $p_i^t$ 具有时变特性，我们可以使用控制 gossip 型信息混合误差的技术来界定全局模型动态的扰动。在真实世界数据集上进行了广泛的实验，涵盖了多样化的不可靠上行链路模式，以证实我们的分析。