存在对抗性客户端不可用时的大规模联邦学习

联邦学习是一种去中心化的机器学习框架，能够在不泄露原始数据的情况下实现协作模型训练。由于多样的硬件和软件限制，客户端可能并非总是可用于参数服务器的计算请求。一个新兴的研究方向致力于解决任意客户端不可用问题。然而，现有工作仍对不可用模式施加了结构性假设，阻碍了其在不可用模式超出参数服务器控制范围的挑战性场景中的适用性。此外，在战场等恶劣环境中，对手可有选择地、自适应地使特定客户端静默。在本文中，我们放宽结构性假设并考虑对抗性客户端不可用。为量化客户端不可用的程度，我们使用 $\epsilon$-对抗丢弃比例的概念。我们表明，FedAvg 或 FedProx 的简单变体尽管对 $\epsilon$ 完全未知，仍收敛到非凸全局目标下量级为 $\epsilon (G^2 + \sigma^2)$ 的估计误差，以及 $\mu$ 强凸全局目标下 $\epsilon(G^2 + \sigma^2)/\mu^2$ 的估计误差，其中 $G$ 为异质性参数，$\sigma^2$ 为噪声水平。反之，我们证明任何算法在非凸全局目标和 $\mu$-强凸全局目标下必须承受至少 $\epsilon (G^2 + \sigma^2)/8$ 和 $\epsilon(G^2 + \sigma^2)/(8\mu^2)$ 的估计误差。此外，FedAvg 或 FedProx 变体的收敛速度对非凸目标为 $O(1/\sqrt{T})$，对强凸目标为 $O(1/T)$，这两者对于任何仅能访问带噪梯度的一阶方法均为可能的最优。