中文

全新局面:用于矩阵博弈与平滑函数最大值最小化的原始加速方法

数据结构与算法 2023-11-21 v1 机器学习 最优化与控制

摘要

我们设计了在 dd 维欧氏或单纯形域上最小化 maxi[n]fi(x)\max_{i\in[n]} f_i(x) 的算法。当每个 fif_i11-Lipschitz 且 11-smooth 时,我们的方法使用 O~(nϵ1/3+ϵ2)\widetilde{O}(n \epsilon^{-1/3} + \epsilon^{-2}) 次梯度与函数评估以及 O~(nϵ4/3)\widetilde{O}(n \epsilon^{-4/3}) 的额外运行时间计算出 ϵ\epsilon-近似解。对于大 nn,我们的评估复杂度在多项式对数因子内最优。在每个 fif_i 为线性的特例——对应于在矩阵博弈中寻找近最优原始策略——我们的方法在 O~(n(d/ϵ)2/3+nd+dϵ2)\widetilde{O}(n (d/\epsilon)^{2/3} + nd + d\epsilon^{-2}) 运行时间内找到 ϵ\epsilon-近似解。对于 n>dn>dϵ=1/n\epsilon=1/\sqrt{n},这优于所有现有一阶方法。当进一步有 d=ω(n8/11)d = \omega(n^{8/11}) 时,我们的运行时间也优于所有已知内点法。我们的算法结合了三个新颖基元:(1)一个动态数据结构,可在小 2\ell_21\ell_1 球中高效估计随机梯度。(2)一个针对我们数据结构的镜像下降算法,实现在这些球上最小化目标的预言机。(3)一个适用于非欧几何的简单球预言机加速框架。

关键词

引用

@article{arxiv.2311.10886,
  title  = {A Whole New Ball Game: A Primal Accelerated Method for Matrix Games and Minimizing the Maximum of Smooth Functions},
  author = {Yair Carmon and Arun Jambulapati and Yujia Jin and Aaron Sidford},
  journal= {arXiv preprint arXiv:2311.10886},
  year   = {2023}
}