STSM：用于高效动作识别的时空偏移模块
计算机视觉与模式识别
2021-12-07 v1
摘要
传统时空网络的建模、计算成本和精度是视频动作识别中最集中的三个研究课题。传统2D卷积计算成本低，但无法捕捉时间关系；基于3D卷积的卷积神经网络(CNNs)模型可取得良好性能，但计算成本高且参数量大。本文中，我们提出一种即插即用的时空偏移模块(STSM)，这是一个既有效又高性能的通用模块。具体而言，将STSM插入其他网络后，可在不增加计算量和参数的情况下提升网络性能。特别是当网络为2D CNNs时，我们的STSM模块使网络能学习高效的时空特征。我们对所提模块进行了广泛评估，开展大量实验研究其在视频动作识别中的有效性，并在kinetics-400和Something-Something V2数据集上取得最先进结果。
引用
@article{arxiv.2112.02523,
title = {STSM: Spatio-Temporal Shift Module for Efficient Action Recognition},
author = {Zhaoqilin Yang and Gaoyun An},
journal= {arXiv preprint arXiv:2112.02523},
year = {2021}
}
备注
9 pages,4 figures