光流引导特征：一种快速鲁棒的视频动作识别运动表示
计算机视觉与模式识别
2018-07-10 v2
摘要
运动表示在视频人体动作识别中起着至关重要的作用。在本研究中，我们引入了一种用于视频动作识别的新型紧凑运动表示，称为光流引导特征(Optical Flow guided Feature, OFF)，它使网络能够通过一种快速鲁棒的方法提取时间信息。OFF由光流的定义导出，且与光流正交。该推导也为使用两帧之差提供了理论支持。通过直接计算深度特征图的像素级时空梯度，OFF可以以极小的额外代价嵌入任何现有的基于CNN的视频动作识别框架中。它使CNN能够同时提取时空信息，尤其是帧间的时间信息。这一简单而强大的想法通过实验结果得到验证。仅以RGB输入喂入OFF的网络在UCF-101上取得了93.3%的竞争性准确率，可与双流(RGB与光流)的结果相媲美，但速度快15倍。实验结果还表明OFF与光流等其他运动模态互补。当所提方法插入最先进的视频动作识别框架时，其在UCF-101和HMDB-51上分别取得了96.0%和74.2%的准确率。本项目代码见https://github.com/kevin-ssy/Optical-Flow-Guided-Feature。
引用
@article{arxiv.1711.11152,
title = {Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recognition},
author = {Shuyang Sun and Zhanghui Kuang and Wanli Ouyang and Lu Sheng and Wei Zhang},
journal= {arXiv preprint arXiv:1711.11152},
year = {2018}
}
备注
CVPR 2018. code available at https://github.com/kevin-ssy/Optical-Flow-Guided-Feature