中文

非凸-强凹极小极大优化的复杂度

最优化与控制 2021-03-31 v1 机器学习 机器学习

摘要

本文研究在非凸-强凹(NC-SC)光滑极小极大问题中寻找近似驻点的复杂度,涵盖一般与平均光滑有限和两种设定。我们分别建立了 Ω(κΔLϵ2)\Omega(\sqrt{\kappa}\Delta L\epsilon^{-2})Ω(n+nκΔLϵ2)\Omega(n+\sqrt{n\kappa}\Delta L\epsilon^{-2}) 的非平凡下界复杂度,其中 κ\kappa 为条件数,LL 为光滑常数,Δ\Delta 为初始间隙。我们的结果揭示了这些极限与文献中已知最优上界之间的显著差距。为缩小这些差距,我们引入了一种通用加速方案,部署已有的基于梯度的方法来求解一系列精心构造的强凸-强凹子问题。在一般设定下,我们所提算法的复杂度几乎匹配下界;特别地,它去除了先前工作中存在的对精度的额外多对数依赖。在平均光滑有限和设定下,我们所提算法通过对条件数提供近乎紧的依赖关系而优于先前算法。

关键词

引用

@article{arxiv.2103.15888,
  title  = {The Complexity of Nonconvex-Strongly-Concave Minimax Optimization},
  author = {Siqi Zhang and Junchi Yang and Cristóbal Guzmán and Negar Kiyavash and Niao He},
  journal= {arXiv preprint arXiv:2103.15888},
  year   = {2021}
}