用于循环神经网络的简化最小门控单元变体
神经与进化计算
2017-01-13 v1 机器学习
摘要
具有各类隐藏单元的循环神经网络已被用于解决涉及序列数据的多种问题。两个最新提案，门控循环单元（GRU）和最小门控单元（MGU），在公开示例数据集上展示了可比的有前景结果。本文中，我们引入最小门控单元（MGU）的三种模型变体，其通过减少遗忘门动态方程中的参数数量进一步简化了该设计。这三种模型变体简称为MGU1、MGU2和MGU3，在由MNIST数据集和Reuters Newswire Topics（RNT）数据集生成的序列上进行了测试。新模型在使用更少参数的同时展现出与MGU模型相似的准确率，从而降低了训练开销。其中一个模型变体，即MGU2，在所考虑的数据集上表现优于MGU，因此可作为循环神经网络中MGU或GRU的替代方案。
引用
@article{arxiv.1701.03452,
title = {Simplified Minimal Gated Unit Variations for Recurrent Neural Networks},
author = {Joel Heck and Fathi M. Salem},
journal= {arXiv preprint arXiv:1701.03452},
year = {2017}
}
备注
5 pages, 3 Figures, 5 Tables