利用深度图序列进行动作识别的深度卷积神经网络
计算机视觉与模式识别
2015-01-21 v1
摘要
近年来，深度学习方法在计算机视觉的各个领域取得了令人瞩目的成果。本文提出了一种名为分层深度运动图 (HDMM) + 三通道深度卷积神经网络 (3ConvNets) 的新框架，用于基于深度图序列的人体动作识别。首先，我们在三维点云中旋转原始深度数据以模拟相机旋转，从而使我们的算法能够处理视角变化的情况。其次，为了有效提取身体形状和运动信息，我们在多个时间尺度上生成加权深度运动图 (DMM)，称为分层深度运动图 (HDMM)。然后，三个通道的 ConvNets 分别在三个投影正交平面的 HDMM 上进行训练。所提出的算法分别在 MSRAction3D、MSRAction3DExt、UTKinect-Action 和 MSRDailyActivity3D 数据集上进行了评估。我们还将后三个数据集合并为一个更大的数据集（称为组合数据集），并在其上测试了所提出的方法。结果表明，我们的方法在各个独立数据集上均能达到最先进的结果，且在组合数据集上未出现显著的性能下降。
引用
@article{arxiv.1501.04686,
title = {Deep Convolutional Neural Networks for Action Recognition Using Depth Map Sequences},
author = {Pichao Wang and Wanqing Li and Zhimin Gao and Jing Zhang and Chang Tang and Philip Ogunbona},
journal= {arXiv preprint arXiv:1501.04686},
year = {2015}
}