无记忆损失的循环 Dropout
计算与语言
2016-08-08 v2
摘要
本文提出了一种循环神经网络 (RNN) 正则化的新方法。与广泛采用的 dropout 方法（应用于前馈架构或 RNN 的\textit{前向}连接）不同，我们提出直接在\textit{循环}连接中丢弃神经元，且这种方式不会导致长期记忆的丢失。我们的方法如同常规的前馈 dropout 一样易于实现和应用，并且我们展示了其对于长短期记忆网络（最流行的 RNN 单元类型）的有效性。我们在 NLP 基准测试上的实验表明，即使与常规前馈 dropout 结合使用，也能带来一致的提升。
引用
@article{arxiv.1603.05118,
title = {Recurrent Dropout without Memory Loss},
author = {Stanislau Semeniuta and Aliaksei Severyn and Erhardt Barth},
journal= {arXiv preprint arXiv:1603.05118},
year = {2016}
}