带正则化客户端参与的联邦学习

联邦学习（Federated Learning, FL）是一种分布式机器学习方法，其中多个客户端协作解决一个机器学习任务。FL 中的关键挑战之一是部分参与问题，其发生在大量客户端参与训练过程时。解决该问题的传统方法是在每轮通信时随机选取一个客户端子集。在我们的研究中，我们提出一种新技术并设计了一种新颖的正则化客户端参与方案。在该方案下，每个客户端每 $R$ 轮通信参与一次学习过程，我们称之为一个元周期（meta epoch）。我们发现该参与方案降低了由客户端采样引起的方差。结合流行的 FedAvg 算法（McMahan 等人，2017），在标准假设下它带来了更优的收敛速率。例如，我们主要收敛界中的优化项随通信轮数与每个客户端本地数据集大小之乘积线性下降，而统计项随步长呈二次而非线性缩放（有放回客户端采样的情况），从而导致相比 $\mathcal{O}\left(\frac{1}{T}\right)$ 更好的收敛速率 $\mathcal{O}\left(\frac{1}{T^2}\right)$，其中 $T$ 为通信轮总数。此外，只要每个客户端在每个元周期内可用于训练一次，我们的结果允许任意的客户端可用性。