面向联邦极小极大优化的随机平滑梯度下降上升算法
机器学习
2024-04-22 v2 信息论
机器学习
math.IT
最优化与控制
摘要
近年来，联邦极小极大优化因其在各类机器学习任务中的广泛应用而受到越来越多的关注。尽管平滑交替梯度下降上升（Smoothed-AGDA）已在集中式非凸极小极大优化中证明其成功，但平滑技术是否以及如何在联邦设定中发挥作用仍未被探索。本文提出一种称为联邦随机平滑梯度下降上升（FESS-GDA）的新算法，该算法将平滑技术用于联邦极小极大优化。我们证明 FESS-GDA 可统一用于求解若干类联邦极小极大问题，并为这些设定给出新的或更好的解析收敛结果。我们在训练生成对抗网络（GANs）与公平分类的实际联邦学习任务中展示了 FESS-GDA 的实用效率。
引用
@article{arxiv.2311.00944,
title = {Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization},
author = {Wei Shen and Minhui Huang and Jiawei Zhang and Cong Shen},
journal= {arXiv preprint arXiv:2311.00944},
year = {2024}
}