二次内存对于凸优化最优查询复杂度是必要的:质心法为帕累托最优
机器学习
2023-05-22 v2 计算复杂性
数据结构与算法
最优化与控制
机器学习
摘要
我们给出凸优化及相关可行性问题的查询复杂度下界。我们证明,要达到一阶凸优化的最优预言机复杂度,二次内存是必要的。特别地,这表明在维度 下使用 内存和 查询的质心割平面算法,在至多对数因子意义下,对凸优化与可行性问题均为帕累托最优。确切地说,我们证明:为将单位球上 -Lipschitz 凸函数最小化到 精度,任何使用至多 比特内存的确定性一阶算法必须做 次查询,对任意 。对于可行性问题(算法仅能访问分离预言机),我们给出更强的权衡:对于至多 内存,所需查询数为 。这解决了 Woodworth 与 Srebro 在 COLT 2019 上提出的开放问题。
引用
@article{arxiv.2302.04963,
title = {Quadratic Memory is Necessary for Optimal Query Complexity in Convex Optimization: Center-of-Mass is Pareto-Optimal},
author = {Moïse Blanchard and Junhui Zhang and Patrick Jaillet},
journal= {arXiv preprint arXiv:2302.04963},
year = {2023}
}