用于动作识别的隐藏双流卷积网络
计算机视觉与模式识别
2018-10-31 v4 机器学习
多媒体
摘要
分析人类动作视频涉及理解视频帧之间的时间关系。最先进的动作识别方法依赖传统的光流估计方法为CNN预计算运动信息。这种两阶段方法计算昂贵、存储需求高且无法端到端训练。在本文中，我们提出了一种新颖的CNN架构，可隐式捕获相邻帧之间的运动信息。我们将我们的方法命名为隐藏双流CNN，因为它仅以原始视频帧作为输入，并直接预测动作类别而无需显式计算光流。我们的端到端方法比其两阶段基线快10倍。在四个具有挑战性的动作识别数据集：UCF101、HMDB51、THUMOS14和ActivityNet v1.2上的实验结果表明，我们的方法显著优于先前最佳的实时方法。
引用
@article{arxiv.1704.00389,
title = {Hidden Two-Stream Convolutional Networks for Action Recognition},
author = {Yi Zhu and Zhenzhong Lan and Shawn Newsam and Alexander G. Hauptmann},
journal= {arXiv preprint arXiv:1704.00389},
year = {2018}
}
备注
Accepted at ACCV 2018, camera ready. Code available at https://github.com/bryanyzhu/Hidden-Two-Stream