中文

面向累积约束的在线凸优化

机器学习 2019-02-08 v4

摘要

我们提出了用于在线凸优化的算法,其导致的累积平方约束违反具有形式 t=1T([g(xt)]+)2=O(T1β)\sum\limits_{t=1}^T\big([g(x_t)]_+\big)^2=O(T^{1-\beta}),其中 β(0,1)\beta\in(0,1)。已有文献关注形式为 t=1Tg(xt)\sum\limits_{t=1}^Tg(x_t) 的长期约束。在那里,严格可行解可以抵消被违反约束的影响。相反,新形式对大的约束违反施以重罚,且抵消效应不会发生。此外,推导了单步约束违反 [g(xt)]+[g(x_t)]_+ 的有用界。对于凸目标,我们的后悔界推广了已有界;对于强凸目标,我们给出了改进的后悔界。在数值实验中,我们表明我们的算法紧密跟随约束边界,导致较低的累积违反。

关键词

引用

@article{arxiv.1802.06472,
  title  = {Online convex optimization for cumulative constraints},
  author = {Jianjun Yuan and Andrew Lamperski},
  journal= {arXiv preprint arXiv:1802.06472},
  year   = {2019}
}

备注

The NeurIPS version of the stepsize setup for strongly convex case is not correct. Please see this arxiv setup(e.g.,move the H1 to the denominator)