中文

DIPPA:一种求解双线性鞍点问题的改进方法

机器学习 2021-03-16 v1 最优化与控制

摘要

本文研究双线性鞍点问题 minxmaxyg(x)+xAyh(y)\min_{\bf{x}} \max_{\bf{y}} g(\bf{x}) + \bf{x}^{\top} \bf{A} \bf{y} - h(\bf{y}),其中函数 g,hg, h 为光滑且强凸。当与 gghh 相关的梯度与近端预言机可访问时,文献中已开发出最优算法 \cite{chambolle2011first, palaniappan2016stochastic}。然而,近端算子并非总易于计算,尤其在约束零和矩阵博弈中 \cite{zhang2020sparsified}。本工作提出一种新算法,仅需访问 g,hg, h 的梯度。我们的算法达到复杂度上界 O~(A2μxμy+κxκy(κx+κy)4)\tilde{\mathcal{O}}\left( \frac{\|\bf{A}\|_2}{\sqrt{\mu_x \mu_y}} + \sqrt[4]{\kappa_x \kappa_y (\kappa_x + \kappa_y)} \right),其对耦合条件数 A2μxμy\frac{\|\bf{A}\|_2}{\sqrt{\mu_x \mu_y}} 的依赖(至多对数因子)是最优的。

关键词

引用

@article{arxiv.2103.08270,
  title  = {DIPPA: An improved Method for Bilinear Saddle Point Problems},
  author = {Guangzeng Xie and Yuze Han and Zhihua Zhang},
  journal= {arXiv preprint arXiv:2103.08270},
  year   = {2021}
}