Eve：一种具有局部与全局自适应学习率的基于梯度的优化方法
机器学习
2018-06-12 v3
摘要
随机优化的自适应梯度方法在局部为每个参数调整学习率。然而，还存在一个必须调优以获得最佳性能的全局学习率。本文提出一种新算法，分别为每个参数局部地、以及为所有参数整体全局地自适应调整学习率。具体而言，我们修改了用于训练深度学习模型的流行方法 Adam，引入一个捕获目标函数性质的系数。通过实验，我们表明我们的方法（称为 Eve）在训练深度神经网络（如用于图像分类的卷积神经网络和用于语言任务的循环神经网络）时优于 Adam 及其他流行方法。
引用
@article{arxiv.1611.01505,
title = {Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates},
author = {Hiroaki Hayashi and Jayanth Koushik and Graham Neubig},
journal= {arXiv preprint arXiv:1611.01505},
year = {2018}
}
备注
New experiments, rewrite