一种具有线性收敛性的通信高效联邦极小极大学习算法

在本文中，我们研究了一个大规模多智能体极小极大优化问题，它建模了统计学习和博弈论中的许多有趣应用，包括生成对抗网络（GANs）。总体目标是各智能体私有局部目标函数之和。我们首先分析一个重要特例，即经验极小极大问题，其中总体目标通过统计样本逼近真实的种群极小极大风险。我们通过 Rademacher 复杂度分析给出了该目标学习的泛化界。然后，我们关注联邦设置，其中智能体可以执行局部计算并与中心服务器通信。大多数现有联邦极小极大算法要么每次迭代都需通信，要么缺乏性能保证，例外的是局部随机梯度下降上升（SGDA），一种多局部更新下降上升算法，在递减步长下保证收敛。通过在无梯度噪声的理想条件下分析局部 SGDA，我们表明通常它无法在常步长下保证精确收敛，因此收敛速度较慢。为解决此问题，我们提出 FedGDA-GT，一种基于梯度跟踪（GT）的改进联邦（Fed）梯度下降上升（GDA）方法。当局部目标为 Lipschitz 光滑且强凸-强凹时，我们证明 FedGDA-GT 以常步长线性收敛到全局 $\epsilon$-近似解，通信轮数为 $\mathcal{O}(\log (1/\epsilon))$，与集中式 GDA 方法的时间复杂度匹配。最后，我们通过数值实验表明 FedGDA-GT 优于局部 SGDA。