在普通循环网络中克服梯度消失问题
神经与进化计算
2019-07-08 v3
摘要
普通循环网络深受梯度消失问题困扰，而门控神经网络（GNN，如长短期记忆（LSTM）与门控循环单元（GRU））通过精巧的网络设计在许多序列学习任务中取得了令人瞩目的结果。本文通过分析 GNN 中的门控机制，展示了如何在普通循环网络中解决该问题。我们提出一种称为循环恒等网络（RIN）的新模型，它使普通循环网络能够在无需使用门的情况下训练极深模型并克服梯度消失问题。我们在多个序列建模基准上将本模型与 IRNN 及 LSTM 进行比较。RIN 在所有任务中均展现出有竞争力的性能且收敛更快。值得注意的是，小型 RIN 模型在 Sequential 与 Permuted MNIST 数据集上取得了高出 12%--67% 的准确率，并在 bAbI 问答数据集上达到最先进性能。
引用
@article{arxiv.1801.06105,
title = {Overcoming the vanishing gradient problem in plain recurrent networks},
author = {Yuhuang Hu and Adrian Huber and Jithendar Anumula and Shih-Chii Liu},
journal= {arXiv preprint arXiv:1801.06105},
year = {2019}
}
备注
20 pages, 12 figures