利用深度卷积神经网络从新的基于骨架的表示中学习识别3D人体动作
计算机视觉与模式识别
2018-12-31 v1
摘要
在未剪辑视频中识别人体动作是一项重要且具有挑战性的任务。有效的3D运动表示和强大的学习模型是影响识别性能的两个关键因素。在本文中，我们引入了一种用于视频中3D动作识别的新的基于骨架的表示。该表示的核心思想是通过颜色编码过程，将骨架序列中携带的人体3D关节坐标转换为RGB图像。通过归一化3D关节坐标并将每个骨架帧分为五个部分，其中关节根据其物理连接顺序进行拼接，这种颜色编码表示能够表示复杂3D运动的时空演化，且与每个序列的长度无关。然后，我们基于Residual Network架构(ResNet)，在获得的基于图像的表示上设计并训练不同的深度卷积神经网络(D-CNNs)，以学习3D运动特征并将其分类。我们的方法在两个广泛使用的动作识别基准上进行了评估：MSR Action3D和NTU-RGB+D，这是一个用于3D人体动作识别的非常大规模的数据集。实验结果表明，所提出的方法优于先前的SOTA方法，同时在训练和预测时所需的计算量更少。
引用
@article{arxiv.1812.10550,
title = {Learning to Recognize 3D Human Action from A New Skeleton-based Representation Using Deep Convolutional Neural Networks},
author = {Huy-Hieu Pham and Louahdi Khoudour and Alain Crouzil and Pablo Zegers and Sergio A. Velastin},
journal= {arXiv preprint arXiv:1812.10550},
year = {2018}
}
备注
This paper is a preprint of a paper published to IET Computer Vision. The copy of the record will be available at the IET Digital Library