一种无混沌的循环神经网络
神经与进化计算
2016-12-20 v1 计算与语言
机器学习
摘要
我们提出了一种极其简单的门控循环神经网络(RNN),在词级语言建模任务上取得了与 LSTM 和 GRU 等著名门控架构相当的性能。我们证明该模型具有简单、可预测且非混沌的动力学特性。这与更标准的门控架构形成鲜明对比,后者的底层动力系统表现出混沌行为。
引用
@article{arxiv.1612.06212,
title = {A recurrent neural network without chaos},
author = {Thomas Laurent and James von Brecht},
journal= {arXiv preprint arXiv:1612.06212},
year = {2016}
}