通过稳定激活正则化循环神经网络（RNNs）
神经与进化计算
2016-04-27 v7 计算与语言
机器学习
机器学习
摘要
我们通过惩罚连续隐藏状态范数之间的平方距离来稳定循环神经网络（RNNs）的激活值。该惩罚项对于包括LSTMs和IRNNs在内的RNNs是一种有效的正则化器，在字符级语言建模和音素识别上改善了性能，并且优于权重噪声和dropout。对于在不使用束搜索或RNN转导器的情况下评估的RNNs，我们在TIMIT音素识别任务上取得了具有竞争力的性能（18.6\% PER）。借助该惩罚项，IRNN能在语言建模上达到与LSTM相似的性能，尽管将该惩罚项添加到LSTM中会带来更优的性能。我们的惩罚项还防止了IRNN的激活值在其训练视界之外呈指数增长，使它们能够泛化到更长的序列。
引用
@article{arxiv.1511.08400,
title = {Regularizing RNNs by Stabilizing Activations},
author = {David Krueger and Roland Memisevic},
journal= {arXiv preprint arXiv:1511.08400},
year = {2016}
}