用于基于骨架动作识别的图边卷积神经网络
计算机视觉与模式识别
2018-06-01 v2
摘要
本文研究来自骨架数据的肢体骨骼以用于基于骨架的动作识别。身体关节作为成熟姿态估计技术的直接结果，始终是传统动作识别方法关注的重点。然而，相较于关节，我们人类自然是根据骨骼的形状、长度和位置来辨识人体如何运动，这些对于观察而言更为明显和稳定。因此，给定由骨架数据生成的图，我们提出在对应于人体骨骼的图边上发展卷积。我们通过整合一条边的空间邻域边来探索不同骨骼间的协作，以及其时间邻域边以处理动作中运动的一致性，从而描述一条边。进而设计了一种图边卷积神经网络用于基于骨架的动作识别。考虑到图节点卷积与图边卷积的互补性，我们额外构建了两种混合神经网络，利用共享中间层将图节点卷积神经网络与图边卷积神经网络相结合。在Kinetics和NTU-RGB+D数据集上的实验结果表明，我们的图边卷积能有效捕捉动作特征，且我们的图边卷积神经网络显著优于现有的基于骨架动作识别的SOTA方法。此外，混合网络可取得更大的性能提升。
引用
@article{arxiv.1805.06184,
title = {Graph Edge Convolutional Neural Networks for Skeleton Based Action Recognition},
author = {Xikun Zhang and Chang Xu and Xinmei Tian and Dacheng Tao},
journal= {arXiv preprint arXiv:1805.06184},
year = {2018}
}