Zoneout：通过随机保留隐藏激活值正则化 RNN
神经与进化计算
2017-09-26 v4 计算与语言
机器学习
摘要
我们提出 zoneout，一种用于正则化 RNN 的新方法。在每个时间步，zoneout 随机强制某些隐藏单元保持其先前值。与 dropout 类似，zoneout 利用随机噪声训练一个伪集成模型，从而改善泛化能力。但通过保留而非丢弃隐藏单元，梯度信息和状态信息能像在前馈随机深度网络中那样，更顺畅地沿时间传播。我们对多种 RNN 正则化方法进行了实证研究，发现 zoneout 在不同任务上均带来显著的性能提升。我们在 Penn Treebank 和 Text8 数据集上的字符级和词级语言建模任务中，使用相对简单的模型取得了有竞争力的结果；与循环批归一化结合后，在置换序列 MNIST 任务上达到了最先进的性能。
引用
@article{arxiv.1606.01305,
title = {Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations},
author = {David Krueger and Tegan Maharaj and János Kramár and Mohammad Pezeshki and Nicolas Ballas and Nan Rosemary Ke and Anirudh Goyal and Yoshua Bengio and Aaron Courville and Chris Pal},
journal= {arXiv preprint arXiv:1606.01305},
year = {2017}
}
备注
David Krueger and Tegan Maharaj contributed equally to this work