随机设定下次梯度算法的最优性

Daron Anderson; Douglas Leith

随机设定下次梯度算法的最优性

统计理论 2020-11-30 v7 数据结构与算法机器学习系统与控制系统与控制最优化与控制概率论机器学习统计理论

作者: Daron Anderson , Douglas Leith

摘要

我们证明次梯度算法（Subgradient algorithm）单纯形上在线学习是通用的，即它同时对对抗性代价实现 $O(\sqrt N)$ 后悔界（regret），对独立同分布代价实现 $O(1)$ 伪后悔界（pseudo-regret）。据我们所知，这是首个非Hedge变体的单纯形上通用算法的证明。由于次梯度是一种流行且广泛使用的算法，我们的结果具有直接而广泛的应用。

关键词

次梯度算法在线学习单纯形对抗性代价独立同分布代价后悔界伪后悔界通用算法

引用

@article{arxiv.1909.05007,
  title  = {Optimality of the Subgradient Algorithm in the Stochastic Setting},
  author = {Daron Anderson and Douglas Leith},
  journal= {arXiv preprint arXiv:1909.05007},
  year   = {2020}
}

备注

6 figures, Corrected off-by-one errors coming from proof in Appendix A. Replaced with newer Version April 2020

随机设定下次梯度算法的最优性

摘要

关键词

引用

备注

相关论文