门控正交循环单元：论学习遗忘
机器学习
2017-10-26 v3 神经与进化计算
机器学习
摘要
我们提出了一种基于循环神经网络 (RNN) 的新模型，该模型将酉 RNN 的记忆能力与门控 RNN 有效遗忘其记忆中冗余/无关信息的能力相结合。我们通过引入门控机制扩展酉 RNN 实现了这一点。我们的模型在多个长期依赖基准任务上优于 LSTM、GRU 和酉 RNN。我们通过实验表明，正交/酉 RNN 缺乏遗忘能力，同时也验证了 GORU 在遗忘无关信息的同时记住长期依赖的能力。这在循环神经网络中起着重要作用。我们提供了具有竞争力的结果，并在许多自然序列任务上对我们的模型进行了分析，包括 bAbI 问答、TIMIT 语音频谱预测、Penn TreeBank，以及涉及长期依赖的合成任务，如算法任务、括号任务、去噪任务和复制任务。
引用
@article{arxiv.1706.02761,
title = {Gated Orthogonal Recurrent Units: On Learning to Forget},
author = {Li Jing and Caglar Gulcehre and John Peurifoy and Yichen Shen and Max Tegmark and Marin Soljačić and Yoshua Bengio},
journal= {arXiv preprint arXiv:1706.02761},
year = {2017}
}