重尾噪声下的联邦随机 minimax 优化
机器学习
2025-11-07 v1
摘要
重尾噪声因大量实证研究表明其比标准有界方差假设更贴近实际，已在非凸随机优化中受到广泛关注。本文针对联邦学习中含重尾梯度噪声的非凸-PL minimax 优化问题进行研究。我们提出了两种新算法：集成归一化梯度的 Fed-NSGDA-M，以及利用 Muon 优化器进行局部更新的 FedMuon-DA。两种算法旨在有效应对联邦 minimax 优化中的重尾噪声，在较松的条件下均可实现。我们理论上证明，这两种算法的收敛率为 。迄今为止，已知在重尾噪声下具有严格理论保证的联邦 minimax 优化算法鲜有出现。大量实验进一步验证了其有效性。
关键词
引用
@article{arxiv.2511.04456,
title = {Federated Stochastic Minimax Optimization under Heavy-Tailed Noises},
author = {Xinwen Zhang and Hongchang Gao},
journal= {arXiv preprint arXiv:2511.04456},
year = {2025}
}