非凸-强凹极小极大优化的复杂度
最优化与控制
2021-03-31 v1 机器学习
机器学习
摘要
本文研究在非凸-强凹(NC-SC)光滑极小极大问题中寻找近似驻点的复杂度,涵盖一般与平均光滑有限和两种设定。我们分别建立了 与 的非平凡下界复杂度,其中 为条件数, 为光滑常数, 为初始间隙。我们的结果揭示了这些极限与文献中已知最优上界之间的显著差距。为缩小这些差距,我们引入了一种通用加速方案,部署已有的基于梯度的方法来求解一系列精心构造的强凸-强凹子问题。在一般设定下,我们所提算法的复杂度几乎匹配下界;特别地,它去除了先前工作中存在的对精度的额外多对数依赖。在平均光滑有限和设定下,我们所提算法通过对条件数提供近乎紧的依赖关系而优于先前算法。
引用
@article{arxiv.2103.15888,
title = {The Complexity of Nonconvex-Strongly-Concave Minimax Optimization},
author = {Siqi Zhang and Junchi Yang and Cristóbal Guzmán and Negar Kiyavash and Niao He},
journal= {arXiv preprint arXiv:2103.15888},
year = {2021}
}