使用预条件随机梯度下降训练循环神经网络
机器学习
2016-12-09 v2 机器学习
摘要
本文研究了一种最近提出的预条件随机梯度下降（PSGD）算法在循环神经网络（RNN）训练中的性能。PSGD 自适应地估计预条件子以加速梯度下降，并被设计得像随机梯度下降（SGD）一样简单、通用且易于使用。RNN，尤其是那些需要极长期记忆的 RNN，训练十分困难。我们在一组合成的病态 RNN 学习问题和真实的 MNIST 手写数字识别任务上测试了 PSGD。实验结果表明，PSGD 能够在不使用任何诸如预处理、预训练或参数微调等技巧的情况下，取得极具竞争力的性能。
引用
@article{arxiv.1606.04449,
title = {Recurrent neural network training with preconditioned stochastic gradient descent},
author = {Xi-Lin Li},
journal= {arXiv preprint arXiv:1606.04449},
year = {2016}
}
备注
Supplemental materials including Matlab code are put at https://sites.google.com/site/lixilinx/home/psgd