基于后期融合的视角不变深度架构用于人体动作识别
计算机视觉与模式识别
2020-01-22 v1
摘要
针对未知视角的的人体动作识别是一项具有挑战性的任务。我们提出了一种视角不变深度人体动作识别框架，它是对两种重要动作线索的新颖整合：运动与形状时间动态（STD）。运动流将动作的运动内容封装为 RGB 动态图像（RGB-DIs），并由微调的 InceptionV3 模型处理。STD 流利用基于人体姿态模型（HPM）的视角不变特征（从基于结构相似性指数矩阵（SSIM）的关键深度人体姿态帧中挖掘）来学习动作的长期视角不变形状动态。为预测测试样本的分数，对各个流的分数应用了三种后期融合（最大值、平均值和乘积）技术。为验证所提新颖框架的性能，实验采用交叉受试者和交叉视角验证方案在三个公开基准——NUCLA 多视角数据集、UWA3D-II 活动数据集和 NTU RGB-D 活动数据集上开展。我们的算法显著优于现有的 state-of-the-arts，其表现以准确率、受试者工作特征（ROC）曲线和曲线下面积（AUC）予以报告。
引用
@article{arxiv.1912.03632,
title = {View-invariant Deep Architecture for Human Action Recognition using late fusion},
author = {Chhavi Dhiman and Dinesh Kumar Vishwakarma},
journal= {arXiv preprint arXiv:1912.03632},
year = {2020}
}
备注
10 pages, 7 figures