循环神经网络中Dropout的一项有理论依据的应用
机器学习
2016-10-06 v5
摘要
循环神经网络（RNNs）处于深度学习许多近期进展的前沿。然而这些模型的一个主要困难是它们易于过拟合，且dropout被证明在应用于循环层时失效。贝叶斯建模与深度学习交叉处的最新结果提供了对诸如dropout等常见深度学习技术的贝叶斯解释。dropout在近似贝叶斯推断中的这一依据暗示了理论结果的扩展，为在RNN模型中使用dropout提供了见解。我们将这种新的基于变分推断的dropout技术应用于LSTM和GRU模型中，在语言建模与情感分析任务上评估它。新方法胜过了现有技术，并且据我们所知在语言建模上以Penn Treebank（73.4测试困惑度）改进了单模型最优水平。这扩展了深度学习中变分工具的武器库。
引用
@article{arxiv.1512.05287,
title = {A Theoretically Grounded Application of Dropout in Recurrent Neural Networks},
author = {Yarin Gal and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1512.05287},
year = {2016}
}
备注
Added clarifications; Published in NIPS 2016