语义引导神经网络用于高效的基于骨架的人体动作识别
计算机视觉与模式识别
2020-04-20 v3
摘要
基于骨架的人体动作识别因人体骨架数据易于获取而引起了极大兴趣。最近，存在一种使用非常深的前馈神经网络对关节的 3D 坐标建模而不考虑计算效率的趋势。在本文中，我们提出一种简单而有效的语义引导神经网络（SGN）用于基于骨架的动作识别。我们显式地将关节的高级语义（关节类型和帧索引）引入网络以增强特征表示能力。此外，我们通过两个模块分层地利用关节之间的关系，即用于建模同一帧中关节相关性的关节级模块，以及用于将同一帧中的关节作为整体来建模帧间依赖关系的帧级模块。我们提出了一个强基线以促进该领域的研究。SGN 的模型规模比大多数先前工作小一个数量级，在 NTU60、NTU120 和 SYSU 数据集上取得了最先进的性能。源代码可在 https://github.com/microsoft/SGN 获取。
引用
@article{arxiv.1904.01189,
title = {Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition},
author = {Pengfei Zhang and Cuiling Lan and Wenjun Zeng and Junliang Xing and Jianru Xue and Nanning Zheng},
journal= {arXiv preprint arXiv:1904.01189},
year = {2020}
}
备注
Accepted by CVPR2020. The source code is available at https://github.com/microsoft/SGN