基于ReLU激活的循环神经网络路径归一化优化
机器学习
2016-05-24 v1 神经与进化计算
摘要
我们研究了循环神经网络（RNN）的参数空间几何，并开发了一种适应此几何的路径-SGD优化方法变体，能够学习带有ReLU激活的普通RNN。在几个需要捕捉长期依赖结构的数据集上，我们证明，与使用SGD训练的RNN相比，即使采用各种近期提出的初始化方案，路径-SGD也能显著提高ReLU RNN的可训练性。
引用
@article{arxiv.1605.07154,
title = {Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations},
author = {Behnam Neyshabur and Yuhuai Wu and Ruslan Salakhutdinov and Nathan Srebro},
journal= {arXiv preprint arXiv:1605.07154},
year = {2016}
}
备注
15 pages