利用双流循环神经网络建模动作的时间动态与空间配置
计算机视觉与模式识别
2017-04-13 v2
摘要
近来，由于高性价比深度传感器与实时骨架估计算法相结合，基于骨架的动作识别获得更多关注。传统基于手工特征的方法在表示运动模式复杂性方面受限。近期使用循环神经网络（RNN）处理原始骨架的方法仅关注时间域中的上下文依赖并忽视关节骨架的空间配置。在本文中，我们提出一种新颖的双流RNN架构来为基于骨架的动作识别建模时间动态与空间配置两者。我们探索时间流两种不同结构：堆叠RNN与层次RNN。层次RNN根据人体运动学设计。我们还提出两种有效方法通过将空间图转换为关节序列来建模空间结构。为改进模型的泛化能力，我们进一步利用基于3D变换的数据增强技术，包括旋转和缩放变换，在训练期间变换骨架的3D坐标。在3D动作识别基准数据集上的实验表明，我们的方法为多种动作（即通用动作、交互活动和手势）带来了可观改进。
引用
@article{arxiv.1704.02581,
title = {Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks},
author = {Hongsong Wang and Liang Wang},
journal= {arXiv preprint arXiv:1704.02581},
year = {2017}
}
备注
Accepted to IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) 2017