基于姿态的双流关系网络用于视频中的动作识别
计算机视觉与模式识别
2018-05-23 v1
摘要
近年来，基于姿态的动作识别因相比传统基于外观的方法具有更优性能而受到越来越多关注。然而，仍存在两个有待进一步解决的问题。首先，现有基于姿态的方法通常利用捕获的 3D 人体姿态来识别动作，而在真实场景中很难获取。其次，在识别人-物交互动作时，极少有基于姿态的方法对与动作相关的物体进行建模，而物体在其中起着重要作用。为解决上述问题，我们提出一种基于姿态的双流关系网络（PSRN）用于动作识别。在 PSRN 中，一支流对直接从原始视频提取的目标 2D 人体姿态序列的时间动态进行建模，另一支流从随机采样的视频帧中对与动作相关的物体进行建模。最重要的是，我们未像以往那样在类别分数层融合双流，而是提出一种姿态-物体关系网络来建模人体姿态与动作相关物体之间的关系。我们在两个具有挑战性的基准 Sub-JHMDB 和 PennAction 上评估所提出的 PSRN。实验结果表明，我们的 PSRN 在 Sub-JHMDB（80.2%）和 PennAction（98.1%）上取得了当前最优（state-of-the-art）性能。我们的工作通过结合从原始视频提取的 2D 人体姿态与图像外观，为动作识别打开了新思路。
引用
@article{arxiv.1805.08484,
title = {Pose-Based Two-Stream Relational Networks for Action Recognition in Videos},
author = {Wei Wang and Jinjin Zhang and Chenyang Si and Liang Wang},
journal= {arXiv preprint arXiv:1805.08484},
year = {2018}
}