使用相位而非光流进行动作识别
计算机视觉与模式识别
2018-09-17 v2
摘要
目前，动作识别中最常见的运动表示是光流。光流基于粒子追踪，遵循动力学的拉格朗日视角。与拉格朗日视角相反，动力学的欧拉模型不追踪，而是描述局部变化。对于视频，使用复可操纵滤波器的欧拉基于相位的运动表示近来已成功用于运动放大与视频帧插值。受这些先前工作启发，本文提出在深度架构中学习用于动作识别的欧拉运动表示。我们以端到端方式在复数域学习滤波器。我们将这些复滤波器设计为类似于通常用于相位信息提取的复 Gabor 滤波器。我们提出一个基于这些复滤波器的相位信息提取模块，可用于任何网络架构中以提取欧拉表示。我们在 UCF101 数据集上实验分析了由我们所提相位提取模块提取的欧拉运动表示带来的附加价值，并与基于光流的现有运动表示进行比较。
引用
@article{arxiv.1809.03258,
title = {Using phase instead of optical flow for action recognition},
author = {Omar Hommos and Silvia L. Pintea and Pascal S. M. Mettes and Jan C. van Gemert},
journal= {arXiv preprint arXiv:1809.03258},
year = {2018}
}
备注
ECCV-2018 Workshop on "What is Optical Flow for?"