深度微分循环神经网络
计算机视觉与模式识别
2018-04-13 v1
摘要
由于长短期记忆网络(LSTM)特殊的门控方案，LSTM比传统循环神经网络(RNN)在处理复杂序列信息方面展现出更大潜力。然而，常规LSTM未能考虑序列输入数据中显著时空动态的影响。该问题首先由微分循环神经网络(dRNN)解决，其使用称为状态导数(DoS)的微分门控方案。DoS利用内部状态导数的高阶来分析连续帧间显著运动引起的信息增益变化。然后将若干阶DoS的加权组合用于调制dRNN中的门。虽然每一阶DoS都擅长建模某一层次的显著时空序列，但所有阶DoS之和可能扭曲检测到的运动模式。为解决此问题，我们提出通过各阶DoS单独控制LSTM门，并按状态导数阶数递增堆叠多层LSTM单元。所提模型在更深层堆叠层中逐步增强LSTM门检测显著动态模式的能力，从而建模更高阶DoS，因此该LSTM模型被称为深度微分循环神经网络(d2RNN)。在两个公开人类活动数据集NUS-HGA和Violent-Flows上验证了所提模型的有效性。所提模型优于基于LSTM和非LSTM的现有最优算法。
引用
@article{arxiv.1804.04192,
title = {Deep Differential Recurrent Neural Networks},
author = {Naifan Zhuang and The Duc Kieu and Guo-Jun Qi and Kien A. Hua},
journal= {arXiv preprint arXiv:1804.04192},
year = {2018}
}