基于多视角区域自适应多时序 DMM 与 RGB 的动作识别
计算机视觉与模式识别
2019-04-15 v1
摘要
人体动作识别仍是一项重要且具有挑战性的任务。本工作提出了一种新颖的动作识别系统。它使用了一种新颖的多视角区域自适应多时序深度运动图（MV-RAMDMM）公式，并结合外观信息。多个流的 3D 卷积神经网络（CNN）在不同的视角和区域自适应深度运动图的时序分辨率上进行训练。合成多个视角以增强视角不变性。基于局部运动的区域自适应权重突出并区分具有更快运动部分的动作。还包含了用于多时间分辨率外观信息（RGB）的专用 3D CNN 流。这些有助于识别和区分小的物体交互。此处使用预训练的 3D-CNN，并对每个流进行微调，同时结合多类支持向量机（SVM）。对输出采用平均分数融合。所开发的方法能够识别人体动作和人机交互。使用了三个公共数据集进行评估，包括：MSR 3D Action、Northwestern UCLA 多视角动作和 MSR 3D 日常活动。实验结果表明，与最先进算法相比，该方法的鲁棒性。
引用
@article{arxiv.1904.06074,
title = {Multi-View Region Adaptive Multi-temporal DMM and RGB Action Recognition},
author = {Mahmoud Al-Faris and John P. Chiverton and Yanyan Yang and David L. Ndzi},
journal= {arXiv preprint arXiv:1904.06074},
year = {2019}
}
备注
14 pages, 6 figures, 13 tables. Submitted