用于视频动作识别的时空金字塔网络
计算机视觉与模式识别
2019-03-05 v1
摘要
双流卷积网络在视频动作识别任务中展现出了优异的性能。其核心思想是通过在空间和时间上融合卷积网络来学习时空特征。然而，目前尚不清楚如何在多个抽象层次上对空间结构与时间结构之间的相关性进行建模。首先，如果两个视频具有相似的背景，空间流往往会失效。其次，如果两个动作在短片段中相似，尽管长期来看表现不同，时间流也可能被误导。我们提出了一种新颖的时空金字塔网络，以在金字塔结构中融合空间和时间特征，使它们能够相互增强。从架构角度来看，我们的网络构成了层次化的融合策略，可以使用统一的时空损失进行整体训练。一系列消融实验证实了每种融合策略的重要性。从技术角度来看，我们将时空紧凑双线性算子引入视频分析任务。该算子能够高效训练双线性融合操作，从而捕获空间特征与时间特征之间的完全交互。我们的最终网络在标准视频数据集上取得了 SOTA 结果。
引用
@article{arxiv.1903.01038,
title = {Spatiotemporal Pyramid Network for Video Action Recognition},
author = {Yunbo Wang and Mingsheng Long and Jianmin Wang and Philip S. Yu},
journal= {arXiv preprint arXiv:1903.01038},
year = {2019}
}