用于动作分类的时空通道相关网络
计算机视觉与模式识别
2019-02-08 v3
摘要
本文工作的驱动力在于一个问题：时空相关性对于3D卷积神经网络（CNN）是否足够？大多数传统3D网络使用局部时空特征。我们引入一个新的模块，对3D CNN的通道相对于时间和空间特征的相关性进行建模。这一新模块可作为残差单元添加到3D CNN的不同部分。我们将这一新颖模块命名为“时空通道相关”（STC）。通过将此模块嵌入到当前最优架构（如ResNext和ResNet）中，我们在Kinetics数据集上将性能提升了2-3%。我们的实验表明，将STC模块添加到当前最优架构中，在HMDB51、UCF101和Kinetics数据集上优于最优方法。训练3D CNN的另一个问题是关于从头开始用海量标注数据集训练以获得合理性能，因此2D CNN中学到的知识被完全忽略。本工作的另一贡献是一种简单而有效的技术，用于将预训练2D CNN中的知识迁移到随机初始化的3D CNN以实现稳定的权重初始化。这使我们能显著减少3D CNN所需的训练样本数量。因此，通过对该网络进行微调，我们击败了通用及近期3D CNN方法的性能，后者在大型视频数据集（如Sports-1M）上训练并在目标数据集（如HMDB51/UCF101）上微调。
引用
@article{arxiv.1806.07754,
title = {Spatio-Temporal Channel Correlation Networks for Action Classification},
author = {Ali Diba and Mohsen Fayyaz and Vivek Sharma and M. Mahdi Arzani and Rahman Yousefzadeh and Juergen Gall and Luc Van Gool},
journal= {arXiv preprint arXiv:1806.07754},
year = {2019}
}
备注
Accepted in ECCV 2018. arXiv admin note: substantial text overlap with arXiv:1711.08200