具有更低复杂度的自适应联邦极小极大优化

联邦学习是机器学习中一种流行的分布式且保护隐私的学习范式。近来，一些联邦学习算法被提出用以解决分布式极小极大问题。然而，这些联邦极小极大算法仍面临高梯度或高通信复杂度的困扰。同时，鲜有算法关注利用自适应学习率来加速这些算法。为填补此空白，本文研究一类非凸极小极大优化，并提出一种高效的自适应联邦极小极大优化算法（即 AdaFGDA）来求解这些分布式极小极大问题。具体而言，我们的 AdaFGDA 建立在基于动量的方差缩减与本地 SGD 技术之上，并可通过统一自适应矩阵灵活融入多种自适应学习率。在理论上，我们为 AdaFGDA 算法在非独立同分布（non-i.i.d.）设定下提供了坚实的收敛分析框架。此外，我们证明 AdaFGDA 算法在寻找非凸极小极大问题的 ε-驻点（ε-stationary point）时，获得了更低的梯度（即随机一阶预言机，SFO）复杂度 $\tilde{O}(\epsilon^{-3})$ 与更低的通信复杂度 $\tilde{O}(\epsilon^{-2})$。在实验上，我们在深度 AUC 最大化与鲁棒神经网络训练任务上开展实验以验证算法的效率。