循环加性网络
计算与语言
2017-06-30 v2
摘要
我们引入循环加性网络（RANs），这是一种新型门控循环神经网络，其显著特点是使用纯加性的隐状态更新。在每个时间步，新状态计算为输入与前一步状态的逐元素门控加和，不含循环神经网络转移动力学中常用的任何非线性。我们形式化地证明，RAN 状态是输入向量的加权和，而门仅用于计算这些和的权重。尽管函数形式相对简单，实验表明，RAN 在基准语言建模任务上的表现与 LSTM 相当。这一结果表明，LSTM 及相关网络中的许多非线性计算并非必不可少，至少对于我们考虑的问题而言如此，并暗示门所承担的计算工作比此前理解的更多。
引用
@article{arxiv.1705.07393,
title = {Recurrent Additive Networks},
author = {Kenton Lee and Omer Levy and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:1705.07393},
year = {2017}
}