中文

在球内思考:极大损失的最小化近最优算法

最优化与控制 2021-05-06 v1 数据结构与算法 机器学习

摘要

我们刻画了针对凸的 Lipschitz 函数 f1,,fNf_1,\ldots, f_N 最小化 maxi[N]fi(x)\max_{i\in[N]} f_i(x) 的复杂度。对于非光滑函数,现有方法需要 O(Nϵ2)O(N\epsilon^{-2}) 次一阶预言机查询以计算一个 ϵ\epsilon-次优点,若 fif_iO(1/ϵ)O(1/\epsilon)-光滑的则需要 O~(Nϵ1)\tilde{O}(N\epsilon^{-1}) 次查询。我们开发了复杂度界改进的算法:非光滑情形下为 O~(Nϵ2/3+ϵ8/3)\tilde{O}(N\epsilon^{-2/3} + \epsilon^{-8/3}),在 O(1/ϵ)O(1/\epsilon)-光滑情形下为 O~(Nϵ2/3+Nϵ1)\tilde{O}(N\epsilon^{-2/3} + \sqrt{N}\epsilon^{-1})。我们的方法由一个近期提出的球优化预言机加速算法(我们对其做了改进)以及针对 softmax 函数的该预言机的细致实现组成。我们还证明了一个预言机复杂度下界为 Ω(Nϵ2/3)\Omega(N\epsilon^{-2/3}),表明我们对 NN 的依赖在多项式对数因子内是最优的。

关键词

引用

@article{arxiv.2105.01778,
  title  = {Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss},
  author = {Yair Carmon and Arun Jambulapati and Yujia Jin and Aaron Sidford},
  journal= {arXiv preprint arXiv:2105.01778},
  year   = {2021}
}