Bandit 与无导数随机凸优化的复杂度
机器学习
2013-04-30 v3 最优化与控制
机器学习
摘要
带有 bandit 反馈（在机器学习社区中）或无梯度信息（在优化社区中）的随机凸优化问题近年来受到了广泛关注，表现为算法和性能上界。然而，关于这些问题的固有复杂度人们知之甚少，文献中鲜有下界结果，尤其是针对非线性函数。本文研究了在 bandit 和无导数设定下，作为维度 d 和可用查询数 T 的函数的可达到误差/后悔。我们精确刻画了强凸且光滑函数的可达到性能，这也蕴含了对于更一般问题的非平凡下界。此外，我们证明了在 bandit 和无导数设定下，所需查询数必须至少与维度呈二次缩放。最后，我们表明，在自然的一类二次函数上，在温和假设下，即使无法获取梯度，也有可能获得关于 T 的“快速” O(1/T) 误差率。据我们所知，这是无导数随机设定下的首个此类速率，且尽管先前结果似乎暗示了相反结论，该速率依然成立。
引用
@article{arxiv.1209.2388,
title = {On the Complexity of Bandit and Derivative-Free Stochastic Convex Optimization},
author = {Ohad Shamir},
journal= {arXiv preprint arXiv:1209.2388},
year = {2013}
}
备注
Version appearing in COLT (Conference on Learning Theory) 2013