循环批归一化
机器学习
2017-03-01 v5
摘要
我们提出了一种LSTM的重新参数化方法，将批归一化的优势引入循环神经网络。先前工作仅将批归一化应用于RNN的输入到隐藏的变换，而我们证明对隐藏到隐藏的转移进行批归一化既是可行的也是有益的，从而减少了时间步之间的内部协变量偏移。我们在多种序列问题上评估了我们的方案，如序列分类、语言建模和问答。我们的实证结果表明，我们的批归一化LSTM持续带来更快的收敛和更好的泛化。
引用
@article{arxiv.1603.09025,
title = {Recurrent Batch Normalization},
author = {Tim Cooijmans and Nicolas Ballas and César Laurent and Çağlar Gülçehre and Aaron Courville},
journal= {arXiv preprint arXiv:1603.09025},
year = {2017}
}