面向高性能基于骨架的人体动作识别的视角自适应神经网络
计算机视觉与模式识别
2019-09-04 v3
摘要
得益于 3D 骨架数据的易获取性与普及性，基于骨架的人体动作识别近来受到越来越多的关注。基于骨架的动作识别的关键挑战之一在于数据采集时存在的巨大视角变化。为缓解视角变化的影响，本文提出一种新颖的视角自适应方案，以基于学习的数据驱动方式自动确定虚拟观测视角。我们设计了两种视角自适应神经网络，即基于 RNN 的 VA-RNN 与基于 CNN 的 VA-CNN。对每种网络，一个新颖的视角自适应模块学习并确定最合适的观测视角，并将骨架变换至这些视角，交由主分类网络进行端到端识别。消融实验发现，所提视角自适应模型能够将不同视角的骨架变换至高度一致的虚拟视角，从而在很大程度上消除视角影响。此外，我们设计了一种双流方案（称为 VA-fusion），融合两网络的分数以提供融合预测。在五个具有挑战性的基准上的大量实验评估证明了所提视角自适应网络的有效性，以及相对于 SOTA 方法的优越性能。源代码见 https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition。
引用
@article{arxiv.1804.07453,
title = {View Adaptive Neural Networks for High Performance Skeleton-based Human Action Recognition},
author = {Pengfei Zhang and Cuiling Lan and Junliang Xing and Wenjun Zeng and Jianru Xue and Nanning Zheng},
journal= {arXiv preprint arXiv:1804.07453},
year = {2019}
}
备注
Accepted in Transactions on Pattern Analysis and Machine Intelligence (TPAMI)