中文

二次内存对于凸优化最优查询复杂度是必要的:质心法为帕累托最优

机器学习 2023-05-22 v2 计算复杂性 数据结构与算法 最优化与控制 机器学习

摘要

我们给出凸优化及相关可行性问题的查询复杂度下界。我们证明,要达到一阶凸优化的最优预言机复杂度,二次内存是必要的。特别地,这表明在维度 dd 下使用 O~(d2)\tilde O(d^2) 内存和 O~(d)\tilde O(d) 查询的质心割平面算法,在至多对数因子意义下,对凸优化与可行性问题均为帕累托最优。确切地说,我们证明:为将单位球上 11-Lipschitz 凸函数最小化到 1/d41/d^4 精度,任何使用至多 d2δd^{2-\delta} 比特内存的确定性一阶算法必须做 Ω~(d1+δ/3)\tilde\Omega(d^{1+\delta/3}) 次查询,对任意 δ[0,1]\delta\in[0,1]。对于可行性问题(算法仅能访问分离预言机),我们给出更强的权衡:对于至多 d2δd^{2-\delta} 内存,所需查询数为 Ω~(d1+δ)\tilde\Omega(d^{1+\delta})。这解决了 Woodworth 与 Srebro 在 COLT 2019 上提出的开放问题。

关键词

引用

@article{arxiv.2302.04963,
  title  = {Quadratic Memory is Necessary for Optimal Query Complexity in Convex Optimization: Center-of-Mass is Pareto-Optimal},
  author = {Moïse Blanchard and Junhui Zhang and Patrick Jaillet},
  journal= {arXiv preprint arXiv:2302.04963},
  year   = {2023}
}