复杂事件中基于群体骨架的人体动作识别
计算机视觉与模式识别
2021-02-26 v2
摘要
人体动作识别作为计算机视觉的重要应用已被研究数十年。在各种方法中，基于骨架的方法因其鲁棒且优越的性能近来受到越来越多的关注。然而，现有基于骨架的方法忽略了不同人物之间潜在的动作关联，而一个人的动作极可能受他人影响，尤其在复杂事件中。本文提出一种复杂事件中基于群体骨架的人体动作识别新方法。该方法首先利用多尺度时空图卷积网络(MS-G3Ds)从多个人物中提取骨架特征。除传统关键点坐标外，我们还将关键点速度值输入网络以提升性能。随后我们使用多层感知机(MLPs)将参考人物与其他人物之间的距离值嵌入所提取的特征中。最后，所有特征被送入另一个 MS-G3D 进行特征融合与分类。为避免类别不平衡问题，网络以 focal loss 训练。所提算法亦是我们针对复杂事件大规模以人为中心视频分析挑战赛的解决方案。在 HiEve 数据集上的结果表明，相较其他最先进方法，我们的方法能给出更优性能。
引用
@article{arxiv.2011.13273,
title = {Group-Skeleton-Based Human Action Recognition in Complex Events},
author = {Tingtian Li and Zixun Sun and Xiao Chen},
journal= {arXiv preprint arXiv:2011.13273},
year = {2021}
}
备注
accpeted by ACM MM 2020