关于光流与动作识别的融合
计算机视觉与模式识别
2017-12-25 v1
摘要
大多数性能最优的动作识别方法将光流用作“黑箱”输入。在此我们更深入地考察光流与动作识别的结合，并探究光流为何有用、何种光流方法利于动作识别，以及我们如何使其更好。具体而言，我们研究了不同光流算法与输入变换的影响，以更好理解它们如何影响最先进的动作识别方法。此外，我们在最广泛使用的动作识别数据集（UCF101）上端到端微调了两种神经网络光流方法。基于这些实验，我们作出以下五点观察：1）光流对动作识别有用是因为其对表观不变；2）光流方法被优化以最小化端点误差（EPE），但当前方法的EPE与动作识别性能相关性不强；3）对所测试的光流方法，边界处与小位移处的精度与动作识别性能最相关；4）训练光流以最小化分类误差而非最小化EPE可提升识别性能；5）为动作识别任务学习的光流不同于传统光流，尤其在人体内部与身体边界处。这些观察可能鼓励光流研究者超越EPE这一目标，并引导动作识别研究者寻求更好的运动线索，从而实现光流与动作识别社群更紧密的融合。
引用
@article{arxiv.1712.08416,
title = {On the Integration of Optical Flow and Action Recognition},
author = {Laura Sevilla-Lara and Yiyi Liao and Fatma Guney and Varun Jampani and Andreas Geiger and Michael J. Black},
journal= {arXiv preprint arXiv:1712.08416},
year = {2017}
}