基于骨架的动作识别：采用带可信门的时空LSTM网络
计算机视觉与模式识别
2017-06-27 v1
摘要
基于骨架的人体动作识别在过去几年中吸引了大量研究关注。近期工作试图利用循环神经网络来建模人体关节3D位置配置之间的时间依赖关系，以更好地分析骨骼数据中的人体活动。本文提出的工作将这一思想扩展到空间域和时间域，以同时在这两个域内更好地分析动作相关信息在人体骨架序列中的隐藏来源。基于Kinect骨骼数据的图形结构，还提出了一种有效的基于树结构的遍历框架。为了处理骨骼数据中的噪声，在LSTM模块中引入了一种新的门控机制，通过该机制网络可以学习序列数据的可靠性，并相应地调整输入数据对单元记忆细胞中存储的长期上下文表示更新过程的影响。此外，本文在LSTM单元内引入了一种新颖的多模态特征融合策略。在七个人体动作识别具有挑战性的基准数据集上的综合实验结果证明了所提方法的有效性。
引用
@article{arxiv.1706.08276,
title = {Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates},
author = {Jun Liu and Amir Shahroudy and Dong Xu and Alex C. Kot and Gang Wang},
journal= {arXiv preprint arXiv:1706.08276},
year = {2017}
}