用于循环神经网络的最小门控单元
神经与进化计算
2016-04-01 v1 机器学习
摘要
近来，循环神经网络（RNN）在处理序列数据方面非常成功。然而，理解RNN并找到RNN的最佳实践是一项困难的任务，部分原因在于存在许多相互竞争且复杂的隐藏单元（如LSTM和GRU）。我们提出了一种用于RNN的门控单元，命名为最小门控单元（Minimal Gated Unit, MGU），因为它只包含一个门，是所有门控隐藏单元中的最小设计。MGU的设计得益于文献中对LSTM和GRU的评估结果。在各种序列数据上的实验表明，MGU具有与GRU相当的精度，但结构更简单、参数更少且训练更快。因此，MGU适用于RNN的应用。其简单的架构也意味着更容易评估和调优，并且原则上更容易从理论和经验上研究MGU的性质。
引用
@article{arxiv.1603.09420,
title = {Minimal Gated Unit for Recurrent Neural Networks},
author = {Guo-Bing Zhou and Jianxin Wu and Chen-Lin Zhang and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:1603.09420},
year = {2016}
}