基于动态图像的RGB-D视频人体活动识别
计算机视觉与模式识别
2018-07-10 v1
摘要
过去十年中，RGB-D视频中的人体活动识别一直是一个活跃的研究课题。然而，文献中尚未发现针对多个表演者同时执行动作的RGB-D视频进行人体活动识别的研究。本文引入了这样一个具有挑战性的数据集，其中包含多个表演者执行活动。我们提出了一种在此类视频中识别人体活动的新方法。该方法旨在通过生成与输入视频对应的动态图像来捕获整个视频的运动信息。我们使用两个并行的ResNext-101分别生成RGB视频和深度视频的动态图像。动态图像仅包含运动信息，因此消除了不必要的背景信息。我们将分别从RGB和深度视频中提取的两张动态图像通过神经网络的全连接层。所提出的动态图像通过从视频中提取稀疏矩阵来降低识别过程的复杂度，同时保留了识别活动所需的运动信息。该方法已在MSR Action 3D数据集上进行了测试，并显示出与当前最优方法相当的性能。我们还将所提方法应用于我们自己的数据集，其中该方法优于当前最优方法。
引用
@article{arxiv.1807.02947,
title = {Human Activity Recognition in RGB-D Videos by Dynamic Images},
author = {Snehasis Mukherjee and Leburu Anvitha and T. Mohana Lahari},
journal= {arXiv preprint arXiv:1807.02947},
year = {2018}
}
备注
Submitted in ICARCV 2018