早期改进循环弹性高速公路网络

为了对序列数据中的时变非线性时间动态进行建模，研究了一种能够变化和调整输入区间之间循环深度的循环网络。循环深度通过若干中间隐藏状态单元进行扩展，并且确定这些单元的权重参数是动态计算的。本文的动机在于克服 Recurrent Highway Networks 的缺陷并提升其性能，该网络目前处于 RNNs 的前沿：1) 针对不同任务确定 RHN 中合适的循环深度数量是一个巨大负担，仅将其设置为大数在计算上是浪费的，并可能导致性能下降和高延迟。基于自适应计算时间（ACT）的思想，通过使用以先前隐藏状态和输入为参数的校正指数递减函数形式的弹性门，所提出的模型能够评估每个输入的合适循环深度。校正门控函数使最显著的中间隐藏状态更新提前发生，从而在早期获得显著的性能提升。2) 从前一中间层的权重更新权重，比在所有中间循环层中使用共享权重提供了更丰富的表示。权重更新过程只是超网络底层思想的扩展。为了验证所提出网络的有效性，我们进行了三个实验：合成数据回归、人类活动识别以及在 Penn Treebank 数据集上的语言建模。在所有三个实验中，所提出的网络表现出优于其他 state-of-the-art 循环网络的性能。