Noisin:循环神经网络的无偏正则化
机器学习
2018-07-16 v2 机器学习
统计方法学
摘要
循环神经网络(RNNs)是序列数据的强大模型。它们已成功应用于文本与语音等领域。然而,RNNs 易过拟合;正则化十分重要。本文中我们提出 Noisin,一种正则化 RNNs 的新方法。Noisin 将随机噪声注入 RNN 的隐藏状态,然后最大化数据对应的边际似然。我们展示 Noisin 如何应用于任意 RNN,并研究了多种不同类型的噪声。Noisin 是无偏的——它平均上保持底层 RNN 不变。我们从理论和经验两方面刻画 Noisin 如何正则化其 RNN。在语言建模基准上,Noisin 相较 dropout 在 Penn Treebank 上提升多达 12.2%,在 Wikitext-2 数据集上提升 9.4%。我们还比较了 Yang 等人 2017 年的前沿语言模型,含与不含 Noisin 的版本。在 Penn Treebank 上,带 Noisin 的方法更迅速地达到前沿性能。
引用
@article{arxiv.1805.01500,
title = {Noisin: Unbiased Regularization for Recurrent Neural Networks},
author = {Adji B. Dieng and Rajesh Ranganath and Jaan Altosaar and David M. Blei},
journal= {arXiv preprint arXiv:1805.01500},
year = {2018}
}
备注
In Proceedings of the International Conference on Machine Learning, 2018