训练深度神经网络的自适应学习率优化算法的适当学习率
最优化与控制
2020-11-24 v4
摘要
本文处理深度学习中的非凸随机优化问题，并给出适当的学习率，使得诸如 Adam 和 AMSGrad 的自适应学习率优化算法能够逼近该问题的驻点。特别地，给出了常数和递减学习率以逼近该问题的驻点。我们的结果也保证自适应学习率优化算法能够逼近凸随机优化问题的全局极小元。在文本和图像分类的数值实验中检验了自适应学习率优化算法。实验表明，具有常数学习率的算法优于具有递减学习率的算法。
引用
@article{arxiv.2002.09647,
title = {Appropriate Learning Rates of Adaptive Learning Rate Optimization Algorithms for Training Deep Neural Networks},
author = {Hideaki Iiduka},
journal= {arXiv preprint arXiv:2002.09647},
year = {2020}
}