跨视角动作的建模、学习与识别
计算机视觉与模式识别
2014-05-14 v1
摘要
现有的基于视频的动作识别方法通常依赖于视角，即从训练数据中出现的相同视角进行识别。我们提出了一种用于跨视角动作识别的新型多视角时空AND-OR图（MST-AOG）表示，即在来自未知且未见过的视角的视频上进行识别。作为一种组合模型，MST-AOG通过显式建模几何、外观和运动变化，紧凑地表示了跨视角动作的层次组合结构。本文提出了学习MST-AOG结构和参数的有效方法。基于MST-AOG的推理使得从新视角进行动作识别成为可能。MST-AOG的训练利用从Kinect相机获取的3D人体骨架数据，以避免标注海量多视角视频帧，这一过程既容易出错又耗时，但识别过程不需要3D信息，仅基于2D视频输入。我们还创建了一个新的Multiview Action3D数据集并将予以发布。大量实验表明，这种新的动作表示显著提高了2D视频跨视角动作识别的准确性和鲁棒性。
引用
@article{arxiv.1405.2941,
title = {Cross-view Action Modeling, Learning and Recognition},
author = {Jiang wang and Xiaohan Nie and Yin Xia and Ying Wu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1405.2941},
year = {2014}
}
备注
CVPR 2014