Tsybakov噪声条件下的一阶随机凸优化的最优速率
机器学习
2015-03-20 v2 机器学习
摘要
我们关注在给定T次随机一阶预言机查询的情况下，在凸集S上最小化凸函数f的问题。我们认为凸最小化的复杂度仅由函数在其最小值点x*_{f,S}附近的增长速率决定，该增长速率由Tsybakov类噪声条件量化。具体地，我们证明如果f在其最小值附近至少以\|x-x*_{f,S}\|^κ的速度增长，其中κ>1，则学习f(x*_{f,S})的最优速率为Θ(T^{-κ/(2κ-2)})。凸函数的经典速率Θ(1/√T)和强凸函数的Θ(1/T)是我们结果在κ→∞和κ=2时的特例，并且当κ<2时可以达到更快的速率。我们还推导了学习x*_{f,S}的复杂度的紧界，其最优速率为Θ(T^{-1/(2κ-2)})。有趣的是，凸优化的这些精确速率也刻画了主动学习的复杂度，我们的结果进一步强化了这两个领域之间的联系，两者都依赖于反馈驱动的查询。
引用
@article{arxiv.1207.3012,
title = {Optimal rates for first-order stochastic convex optimization under Tsybakov noise condition},
author = {Aaditya Ramdas and Aarti Singh},
journal= {arXiv preprint arXiv:1207.3012},
year = {2015}
}
备注
Accepted for publication at ICML 2013