非凸-凹极小极大问题的完全无参数单循环算法
最优化与控制
2025-06-24 v3 机器学习
机器学习
摘要
由于其在各种新兴应用中的重要性,高效求解极小极大问题的算法近年来受到越来越多的关注。然而,许多现有算法需要先验知识关于问题参数才能达到最优迭代复杂度。本文提出了三种完全无参数的单循环算法,即 PF-AGP-NSC 算法、PF-AGP-NC 算法和 PF-AGP-NL 算法,分别用于求解光滑非凸-强凹、非凸-凹极小极大问题和非凸-线性极小极大问题,通过线搜索而无需关于利普希茨常数 L 或强凹模数 μ 等参数的任何先验知识。此外,我们证明了 PF-AGP-NSC 算法、PF-AGP-NC 算法和 PF-AGP-NL 算法获得一个 ε-驻点所需的梯度调用总次数分别被上界 、 和 所界定,其中 κ 为条件数。据我们所知,PF-AGP-NC 和 PF-AGP-NL 分别是求解非凸-凹和非凸-线性极小极大问题的首批完全无参数算法。PF-AGP-NSC 是求解非凸-强凹极小极大问题的完全无参数算法,在 ε 方面达到了已知最优复杂度。数值结果证明了所提出的三种算法的效率。
引用
@article{arxiv.2407.21372,
title = {Completely Parameter-Free Single-Loop Algorithms for Nonconvex-Concave Minimax Problems},
author = {Junnan Yang and Huiling Zhang and Zi Xu},
journal= {arXiv preprint arXiv:2407.21372},
year = {2025}
}