从新视角进行人体动作识别的深度模型学习
计算机视觉与模式识别
2016-09-14 v1
摘要
从未知和未见过（新）的视角识别人体动作是一个具有挑战性的问题。我们提出了一种鲁棒非线性知识迁移模型（R-NKTM）用于从新视角进行人体动作识别。所提出的 R-NKTM 是一个深度全连接神经网络，它通过寻找连接各视角的非线性虚拟路径，将人体动作的知识从任意未知视角迁移到一个共享的高层虚拟视角。R-NKTM 从拟合到真实动作捕捉数据的合成 3D 人体模型的密集轨迹中学习，并泛化到真实的人体动作视频。我们技术的优势在于，我们为所有动作和所有视角学习单一的 R-NKTM，以用于任意真实人体动作视频的知识迁移，而无需重新训练或微调模型。因此，R-NKTM 可有效扩展以纳入新的动作类别。R-NKTM 使用虚拟标签学习，且在任何阶段都不需要相机视角的知识。在三个基准跨视角人体动作数据集上的实验表明，我们的方法优于现有的 state-of-the-art。
引用
@article{arxiv.1602.00828,
title = {Learning a Deep Model for Human Action Recognition from Novel Viewpoints},
author = {Hossein Rahmani and Ajmal Mian and Mubarak Shah},
journal= {arXiv preprint arXiv:1602.00828},
year = {2016}
}