用于视频动作识别的时间双线性网络
计算机视觉与模式识别
2018-11-27 v1
摘要
视频中的时间建模是计算机视觉中一个基础且具有挑战性的问题。本文提出一种新颖的时间双线性（TB）模型，以捕获相邻帧之间的时间成对特征交互。与一些局限于线性变换的现有时间方法相比，我们的TB模型在时间域中考虑显式的二次双线性变换，用于运动演化和序列关系建模。我们进一步利用线性复杂度的分解双线性模型和瓶颈网络设计来构建TB模块，这也限制了参数和计算成本。我们考虑了TB模块与原始2D空间卷积结合的两种方案，即宽和深的时间双线性网络（TBN）。最后，我们在Kinetics、UCF101和HMDB51等几个广泛采用的数据集上进行实验。我们的TBN的有效性通过全面的消融分析以及与各种最先进方法的比较得到验证。
引用
@article{arxiv.1811.09974,
title = {Temporal Bilinear Networks for Video Action Recognition},
author = {Yanghao Li and Sijie Song and Yuqi Li and Jiaying Liu},
journal= {arXiv preprint arXiv:1811.09974},
year = {2018}
}
备注
Accepted by AAAI 2019