Skip RNN：学习在循环神经网络中跳过状态更新
人工智能
2018-02-06 v3 计算机视觉与模式识别
摘要
循环神经网络（RNNs）在序列建模任务中持续展现出卓越的性能。然而，在长序列上训练 RNNs 通常面临推理缓慢、梯度消失以及难以捕捉长期依赖等挑战。在沿时间反向传播设置中，这些问题与 RNN 在时间上展开所产生的大型顺序计算图紧密耦合。我们引入了 Skip RNN 模型，该模型通过学习跳过状态更新来扩展现有的 RNN 模型，并缩短了计算图的有效规模。还可以通过预算约束鼓励该模型执行更少的状态更新。我们在各种任务上评估了所提出的模型，并展示了它如何减少所需的 RNN 更新次数，同时保持甚至有时提高基线 RNN 模型的性能。源代码公开于 https://imatge-upc.github.io/skiprnn-2017-telecombcn/ 。
引用
@article{arxiv.1708.06834,
title = {Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks},
author = {Victor Campos and Brendan Jou and Xavier Giro-i-Nieto and Jordi Torres and Shih-Fu Chang},
journal= {arXiv preprint arXiv:1708.06834},
year = {2018}
}
备注
Accepted as conference paper at ICLR 2018