循环神经网络的架构复杂度度量
机器学习
2016-11-15 v3 神经与进化计算
摘要
在本文中，我们系统分析了循环神经网络（RNNs）的连接架构。我们的主要贡献有两方面：首先，我们提出了一个严格的图论框架，用于一般性地描述 RNN 的连接架构。其次，我们提出了三种 RNN 的架构复杂度度量：(a) 循环深度，刻画 RNN 随时间演化的非线性复杂度；(b) 前馈深度，刻画局部输入-输出非线性（类似于前馈神经网络（FNNs）中的“深度”）；(c) 循环跳跃系数，刻画信息随时间传播的快慢。我们严格证明了每种度量的存在性与可计算性。我们的实验结果表明，RNN 可能受益于更大的循环深度和前馈深度。我们进一步证明，在长程依赖问题上，增加循环跳跃系数可带来性能提升。
引用
@article{arxiv.1602.08210,
title = {Architectural Complexity Measures of Recurrent Neural Networks},
author = {Saizheng Zhang and Yuhuai Wu and Tong Che and Zhouhan Lin and Roland Memisevic and Ruslan Salakhutdinov and Yoshua Bengio},
journal= {arXiv preprint arXiv:1602.08210},
year = {2016}
}
备注
17 pages, 8 figures; To appear in NIPS2016