差分循环神经网络及其在人体活动识别中的应用
计算机视觉与模式识别
2019-05-14 v1
摘要
长短期记忆（LSTM）循环神经网络能够处理复杂的时序信息，因为它利用特殊的门控方案从长输入序列中学习表示。它有潜力建模任何序列时间序列数据，其中当前隐藏状态必须在过去隐藏状态的上下文中考虑。这一特性使LSTM成为学习长序列中存在的复杂动态的理想选择。遗憾的是，常规LSTM在门控应通过时间记忆的信息时，未考虑给定显著运动模式对应的时空动态影响。为解决此问题，我们提出一种用于LSTM神经网络的差分门控方案，其强调连续视频帧间显著运动引起的信息增益变化。该信息增益变化由状态导数（DoS）量化，因此所提LSTM模型称为差分循环神经网络（dRNN）。此外，原工作使用最后时间步的隐藏状态建模整个视频序列。基于DoS的能量分布，我们进一步提出采用状态能量分布（SEP）搜索显著dRNN状态并构造更具信息量的表示。所提模型的有效性通过从真实世界2D和3D单人动作数据集自动识别人体动作得到证明。我们指出LSTM是dRNN的一种特殊形式。因此，我们引入了新的LSTM族。我们的研究是首批展示通过状态高阶导数学习复杂时间序列表示潜力的作品之一。
引用
@article{arxiv.1905.04293,
title = {Differential Recurrent Neural Network and its Application for Human Activity Recognition},
author = {Naifan Zhuang and Guo-Jun Qi and The Duc Kieu and Kien A. Hua},
journal= {arXiv preprint arXiv:1905.04293},
year = {2019}
}
备注
arXiv admin note: substantial text overlap with arXiv:1504.06678, arXiv:1804.04192