多尺度语义引导神经网络用于高效的基于骨架的人体动作识别
计算机视觉与模式识别
2021-11-09 v1
摘要
骨架数据维度较低。然而，近年来出现了在不考虑复杂性的情况下使用非常深且复杂的全连接神经网络对骨架序列建模的趋势。本文提出一种简单而高效的多尺度语义引导神经网络（MS-SGN）用于基于骨架的动作识别。我们显式地将关节的高级语义（关节类型和帧索引）引入网络，以增强关节的特征表示能力。此外，提出一种多尺度策略以应对时间尺度变化。另外，我们通过两个模块分层利用关节间关系，即关节级模块用于建模同一帧中关节的相关性，以及帧级模块用于建模帧的时间依赖关系。在模型规模比以往大多数方法小一个数量级的情况下，MSSGN 在 NTU60、NTU120 和 SYSU 数据集上取得了最先进的性能。
引用
@article{arxiv.2111.03993,
title = {Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition},
author = {Pengfei Zhang and Cuiling Lan and Wenjun Zeng and Junliang Xing and Jianru Xue and Nanning Zheng},
journal= {arXiv preprint arXiv:2111.03993},
year = {2021}
}