具有对数遗憾界的 RMSProp 和 Adagrad 变体

Mahesh Chandra Mukkamala; Matthias Hein

具有对数遗憾界的 RMSProp 和 Adagrad 变体

机器学习 2017-11-29 v2 人工智能计算机视觉与模式识别神经与进化计算机器学习

作者: Mahesh Chandra Mukkamala , Matthias Hein

摘要

自适应梯度方法近来变得非常流行，特别是已被证明在深度神经网络训练中很有用。在本文中，我们在在线凸优化背景下分析了最初为训练深度神经网络而提出的 RMSProp，并证明了 $\sqrt{T}$ 型遗憾界。此外，我们提出了两个变体 SC-Adagrad 和 SC-RMSProp，并证明了它们对于强凸函数具有对数遗憾界。最后，我们在实验中证明，在强凸函数优化及深度神经网络训练中，这些新变体优于其他自适应梯度技术或随机梯度下降。

关键词

自适应梯度方法 RMSProp Adagrad 对数遗憾界在线凸优化深度神经网络

引用

@article{arxiv.1706.05507,
  title  = {Variants of RMSProp and Adagrad with Logarithmic Regret Bounds},
  author = {Mahesh Chandra Mukkamala and Matthias Hein},
  journal= {arXiv preprint arXiv:1706.05507},
  year   = {2017}
}

备注

ICML 2017, 16 pages, 23 figures

具有对数遗憾界的 RMSProp 和 Adagrad 变体

摘要

关键词

引用

备注

相关论文