一种用于训练RNN的自适应随机Nesterov加速拟牛顿方法
机器学习
2019-09-10 v1 机器学习
摘要
训练神经网络的一个常见问题是梯度消失和/或爆炸问题，这在循环神经网络（RNNs）的训练中更为显著。因此，已有多种用于训练RNN的算法被提出。本文提出一种新颖的自适应随机Nesterov加速拟牛顿（aSNAQ）方法用于训练RNN。所提方法aSNAQ是一种加速方法，它结合了Nesterov梯度项与二阶曲率信息。所提方法的性能在Tensorflow上针对基准序列建模问题进行了评估。结果显示其在保持低单步代价的同时性能有所提升，因此可有效用于训练RNN。
引用
@article{arxiv.1909.03620,
title = {An Adaptive Stochastic Nesterov Accelerated Quasi Newton Method for Training RNNs},
author = {S. Indrapriyadarsini and Shahrzad Mahboubi and Hiroshi Ninomiya and Hideki Asai},
journal= {arXiv preprint arXiv:1909.03620},
year = {2019}
}
备注
Accepted in NOLTA 2019, IEICE