联邦学习中一类非凸极小极大优化问题的求解
机器学习
2023-10-06 v1 人工智能
摘要
极小极大问题广泛出现于机器学习应用中,从对抗训练、强化学习中的策略评估到AUROC最大化均有涉及。为应对跨多个客户端的大规模数据挑战并实现通信高效的分布式训练,联邦学习(FL)正日益受到关注。针对极小极大问题的许多优化算法已在集中式设置(即单机)下被提出。然而,联邦学习下极小极大问题的算法仍鲜有探索。本文研究一类联邦非凸极小极大优化问题。我们提出FL算法(FedSGDA+与FedSGDA-M)并改进了最常见极小极大问题的现有复杂度结果。对于非凸-凹问题,我们提出FedSGDA+并将通信复杂度降至。在非凸-强凹与非凸-PL极小极大设置下,我们证明FedSGDA-M具有已知最优的样本复杂度与已知最优的通信复杂度。FedSGDA-M是首个在非凸-强凹设置下匹配单机方法所达最优样本复杂度的算法。在公平分类与AUROC最大化上的大量实验结果展示了我们算法的效率。
引用
@article{arxiv.2310.03613,
title = {Solving a Class of Non-Convex Minimax Optimization in Federated Learning},
author = {Xidong Wu and Jianhui Sun and Zhengmian Hu and Aidong Zhang and Heng Huang},
journal= {arXiv preprint arXiv:2310.03613},
year = {2023}
}