酉RNN与压缩RNN的输入-输出等价性
机器学习
2019-10-31 v1 机器学习
摘要
酉循环神经网络（URNN）已被提出作为一种方法，用于克服在建模具有长期依赖关系的数据时的梯度消失和爆炸问题。一个基本问题是：酉约束对此类网络可能的输入-输出映射的限制有多大？本工作表明，对于任意带有ReLU激活函数的压缩RNN，都存在一个隐藏状态数至多为其两倍且输入-输出映射完全相同的URNN。因此，在使用ReLU激活函数时，URNN与通用RNN具有同等的表达能力。相比之下，对于某些平滑激活函数，研究表明即使具有任意数量的隐藏状态，RNN的输入-输出映射也无法由URNN匹配。理论结果得到了关于慢变动力系统建模实验的支持。
引用
@article{arxiv.1910.13672,
title = {Input-Output Equivalence of Unitary and Contractive RNNs},
author = {M. Emami and M. Sahraee-Ardakan and S. Rangan and A. K. Fletcher},
journal= {arXiv preprint arXiv:1910.13672},
year = {2019}
}