Im2Flow：从静态图像幻觉未来运动以用于动作识别
计算机视觉与模式识别
2018-05-31 v3
摘要
现有在静态图像中识别动作的方法仅从表面价值看待图像，学习区分各动作类别的外观——物体、场景与身体姿态。然而，此类模型缺失了同样定义人类活动的丰富动态结构与运动。我们提出一种方法，通过对单张快照所隐含的未观测未来运动进行幻觉，以辅助静态图像动作识别。其核心思想是从数千段无标签视频中学习短期动态的先验，推断新颖静态图像上的预期光流，进而训练利用双流信息的判别模型。我们的主要贡献有两点。首先，我们设计了一个编码器-解码器卷积神经网络及一种新颖的光流编码，可将静态图像转换为精确的光流图。其次，我们展示了幻觉光流在识别中的威力，成功将所学运动迁移至用于活动识别的标准双流网络。在七个数据集上，我们证明了该方法的有效性。它不仅在稠密光流预测上达到了 SOTA 精度，还持续增强了动作与动态场景的识别。
引用
@article{arxiv.1712.04109,
title = {Im2Flow: Motion Hallucination from Static Images for Action Recognition},
author = {Ruohan Gao and Bo Xiong and Kristen Grauman},
journal= {arXiv preprint arXiv:1712.04109},
year = {2018}
}
备注
Published in CVPR 2018, project page: http://vision.cs.utexas.edu/projects/im2flow/