DeepActsNet：融合人脸、双手与身体的空间及运动特征并结合卷积与图网络以改进动作识别
计算机视觉与模式识别
2021-06-07 v3
摘要
现有动作识别方法主要聚焦于人体骨架数据中的关节与骨骼信息，因其对复杂背景和环境动态特性具有鲁棒性。本文将人体骨架数据与来自人脸和双手的空间及运动特征相结合，提出“Deep Action Stamps (DeepActs)”，一种从视频序列编码动作的新型数据表示。我们还提出“DeepActsNet”，一种基于深度学习的集成模型，从 Deep Action Stamps 中学习卷积与结构特征以实现高准确率动作识别。在三个具有挑战性的动作识别数据集（NTU60、NTU120 和 SYSU）上的实验表明，使用 Deep Action Stamps 训练的所提模型以更低计算成本相较最先进方法在动作识别准确率上取得显著提升。
引用
@article{arxiv.2009.09818,
title = {DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition},
author = {Umar Asif and Deval Mehta and Stefan von Cavallar and Jianbin Tang and Stefan Harrer},
journal= {arXiv preprint arXiv:2009.09818},
year = {2021}
}