中文

3DFCNN:使用原始深度信息的3D深度神经网络实时动作识别

计算机视觉与模式识别 2020-06-16 v1

摘要

人体动作识别是人工视觉中的一项基本任务,近年来因其在多个领域(如人类行为研究、安防或视频监控)的广泛应用而变得非常重要。在此背景下,本文描述了一种利用RGB-D相机提供的原始深度图像序列进行实时人体动作识别的方法。该方案基于一个名为3DFCNN的3D全卷积神经网络,该网络能自动编码深度序列中的时空模式,无需任何昂贵的预处理。此外,所描述的3D-CNN允许从深度序列的时空编码信息中自动提取特征并进行动作分类。深度数据的使用确保了动作识别在保护人们隐私的情况下进行,因为无法从这些数据中识别出他们的身份。3DFCNN已在三个广泛使用且具有不同特性(分辨率、传感器类型、视角数量、相机位置等)的大规模NTU RGB+D数据集上进行了评估,并将其结果与其他最先进方法的结果进行了比较。获得的结果验证了该方案,表明其优于几种基于经典计算机视觉技术的最先进方法。此外,它以更低的计算成本实现了与基于深度学习的最先进方法相当的动作识别精度,这使其可用于实时应用。

关键词

引用

@article{arxiv.2006.07743,
  title  = {3DFCNN: Real-Time Action Recognition using 3D Deep Neural Networks with Raw Depth Information},
  author = {Adrian Sanchez-Caballero and Sergio de López-Diz and David Fuentes-Jimenez and Cristina Losada-Gutiérrez and Marta Marrón-Romera and David Casillas-Perez and Mohammad Ibrahim Sarker},
  journal= {arXiv preprint arXiv:2006.07743},
  year   = {2020}
}