去中心化随机极小极大优化算法能否在有限和 nonconvex-nonconcave 问题上线性收敛？
机器学习
2023-04-25 v1
摘要
由于其在广泛机器学习模型中的应用，去中心化极小极大优化在过去几年被积极研究。然而，现有工作仅关注非凸-强凹问题，当前对其收敛率的理论理解远不能令人满意。这促使我们研究非凸-非凹问题的去中心化极小极大优化算法。为此，我们针对满足 Polyak-Łojasiewicz (PL) 条件的有限和 nonconvex-nonconcave 问题，开发了两种新颖的去中心化随机方差缩减梯度下降 ascent 算法。特别地，我们的理论分析展示了如何通过局部更新与通信实现线性收敛率。据我们所知，这是首个在去中心化非凸-非凹问题上实现线性收敛率的工作。最后，我们在合成与真实世界数据集上验证了算法性能。实验结果证实了算法的有效性。
引用
@article{arxiv.2304.11788,
title = {Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems?},
author = {Yihan Zhang and Wenhao Jiang and Feng Zheng and Chiu C. Tan and Xinghua Shi and Hongchang Gao},
journal= {arXiv preprint arXiv:2304.11788},
year = {2023}
}
备注
Under submission