360°视频中的弱监督多人动作识别
计算机视觉与模式识别
2020-02-11 v1
摘要
近年来消费级360°相机的发展使得单段视频即可捕捉整个场景，这在监控场景中展现出广阔的应用前景。然而，全景视频分析的研究滞后于硬件进步。本文针对俯视360°视频中的动作识别这一重要问题展开研究。由于视场角宽广，360°视频通常同时捕捉多人执行动作，且人物外观存在畸变。所提框架首先将全景视频转换为全景展开视频，随后利用基于区域的3D CNN提取时空特征以进行动作识别。我们提出一种基于多示例多标签学习的弱监督方法，仅以视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们通过实验定量验证了所提方法的有效性，并定性展示了动作定位结果。为推动该方向研究，我们引入了360Action，首个用于多人动作识别的全景视频数据集。
引用
@article{arxiv.2002.03266,
title = {Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos},
author = {Junnan Li and Jianquan Liu and Yongkang Wong and Shoji Nishimura and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2002.03266},
year = {2020}
}