用于3D动作识别的骨架序列新表示

本文提出了一种利用骨架序列（即人体骨架关节的3D轨迹）进行3D动作识别的新方法。该方法首先将每个骨架序列转换为三个片段，每个片段由若干帧组成，以便使用深度神经网络进行时空特征学习。每个片段由骨架序列柱坐标的一个通道生成。生成片段的每一帧代表整个骨架序列的时间信息，并融合了关节间的一种特定空间关系。整个片段包含具有不同空间关系的多帧，从而提供了人体骨架有用的空间结构信息。我们提出使用深度卷积神经网络从生成片段的帧中学习骨架序列的长期时间信息，然后使用多任务学习网络（MTLN）并行地联合处理生成片段的所有帧，以融合空间结构信息用于动作识别。实验结果清楚地表明了所提出的新表示和特征学习方法在3D动作识别中的有效性。