循环神经网络正则化
神经与进化计算
2015-02-20 v5
摘要
我们提出了一种针对具有长短期记忆(LSTM)单元的循环神经网络(RNN)的简单正则化技术。Dropout是最成功的神经网络正则化技术，但它不适用于RNN和LSTM。在本文中，我们展示了如何正确地将dropout应用于LSTM，并证明它在多种任务上显著减少了过拟合。这些任务包括语言建模、语音识别、图像描述生成和机器翻译。
引用
@article{arxiv.1409.2329,
title = {Recurrent Neural Network Regularization},
author = {Wojciech Zaremba and Ilya Sutskever and Oriol Vinyals},
journal= {arXiv preprint arXiv:1409.2329},
year = {2015}
}