面向长程依赖建模的非饱和循环单元
神经与进化计算
2019-02-19 v1 机器学习
机器学习
摘要
对循环神经网络而言，建模长程依赖是一项挑战。这主要源于随着序列长度增加，梯度在训练过程中消失。梯度会被转移算子衰减，并被激活函数衰减或丢弃。LSTM 等典型架构通过记忆机制跳过信息来缓解此问题。我们提出一种新的循环架构（非饱和循环单元；NRU），它依赖记忆机制但舍弃了饱和激活函数与饱和门，以进一步缓解梯度消失。在一系列合成与真实世界任务中，我们表明，与其他多种架构相比，所提模型是唯一在有无长程依赖的所有任务中均位列前两名模型的模型。
引用
@article{arxiv.1902.06704,
title = {Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies},
author = {Sarath Chandar and Chinnadhurai Sankar and Eugene Vorontsov and Samira Ebrahimi Kahou and Yoshua Bengio},
journal= {arXiv preprint arXiv:1902.06704},
year = {2019}
}
备注
In Proceedings of AAAI 2019