基于关节轨迹图与卷积神经网络的动作识别
计算机视觉与模式识别
2017-01-02 v1
摘要
卷积神经网络在许多计算机视觉任务中，尤其是基于图像的识别中，近期展现出了优异的性能。如何将卷积神经网络有效应用于基于序列的数据仍是一个开放问题。本文提出了一种有效且简单的方法，将 骨架序列中携带的时空信息表示为三张 图像，方法是将关节轨迹及其动力学编码为图像中的颜色分布，称为关节轨迹图，并采用卷积神经网络学习用于人体动作识别的判别性特征。这种基于图像的表示使我们能够对现有的卷积神经网络模型进行微调以用于骨架序列分类，而无需重新训练网络。三个关节轨迹图在三个正交平面上生成，彼此提供互补信息。通过三个关节轨迹图的得分乘积融合，进一步提升了最终的识别效果。所提出的方法在四个公开基准数据集上进行了评估，包括大型 NTU RGB+D 数据集、MSRC-12 Kinect Gesture Dataset (MSRC-12)、G3D Dataset 和 UTD Multimodal Human Action Dataset (UTD-MHAD)，并取得了当时最优的结果。
引用
@article{arxiv.1612.09401,
title = {Action Recognition Based on Joint Trajectory Maps with Convolutional Neural Networks},
author = {Pichao Wang and Wanqing Li and Chuankun Li and Yonghong Hou},
journal= {arXiv preprint arXiv:1612.09401},
year = {2017}
}