基于运动的姿态特征无监督学习
计算机视觉与模式识别
2016-09-20 v1
摘要
人类动作由一系列姿态组成。这使得人类视频成为姿态的丰富且密集的数据源。我们提出了一种无监督方法，从视频中学习姿态特征，该方法利用了一种与外观互补并可作为监督信号的信号：运动。核心思想是：人类在执行动作时以可预测的方式经历姿态。因此，给定两个姿态，应该可以建模导致它们之间变化的那个运动。我们将每个姿态表示为卷积神经网络（外观卷积网络）中的一个特征，并使用另一个卷积神经网络（运动卷积网络）从光流图生成运动编码。该任务的数据自动生成，使我们无需人工监督即可进行训练。我们通过将训练好的模型在 FLIC 数据集上进行姿态估计微调、在 PASCAL 上进行静态图像动作识别、在 UCF101 和 HMDB51 上进行视频动作识别，展示了所学表示的强大能力。
引用
@article{arxiv.1609.05420,
title = {Pose from Action: Unsupervised Learning of Pose Features based on Motion},
author = {Senthil Purushwalkam and Abhinav Gupta},
journal= {arXiv preprint arXiv:1609.05420},
year = {2016}
}