基于信息论的非光滑凸优化预言机复杂度下界
最优化与控制
2023-07-10 v3 计算复杂性
信息论
math.IT
摘要
我们提出了一种基于信息论的方法,用于为非光滑黑盒凸优化的预言机复杂度建立下界,该方法通过识别一个组合问题(即字符串猜测)作为硬度的单一来源,统一了此前的下界技术。作为复杂度的度量,我们使用分布型预言机复杂度,其涵盖了随机化预言机复杂度以及最坏情况预言机复杂度。我们获得了针对超立方体 以及 的 -球(涵盖小尺度和大尺度机制)的分布型预言机复杂度的强下界,这些下界与最坏情况上界相匹配,从而弥合了分布型复杂度(特别是随机化复杂度)与最坏情况复杂度之间的差距。此外,这些下界对于高概率和有界误差预言机复杂度,甚至对于两者的组合(即有界误差高概率预言机复杂度)本质上保持不变。这显著扩展了已知下界的适用范围。
引用
@article{arxiv.1407.5144,
title = {Lower Bounds on the Oracle Complexity of Nonsmooth Convex Optimization via Information Theory},
author = {Gábor Braun and Cristóbal Guzmán and Sebastian Pokutta},
journal= {arXiv preprint arXiv:1407.5144},
year = {2023}
}
备注
Correctly handle multiple maximizers in the proof of Theorem VI.3; other minor clarifications