VidTr：无卷积的视频Transformer
计算机视觉与模式识别
2021-10-19 v2
摘要
我们引入了带有可分离注意力（separable-attention）的Video Transformer（VidTr）用于视频分类。与常用的3D网络相比，VidTr能够通过堆叠注意力聚合时空信息，并以更高效率提供更好性能。我们首先介绍朴素视频Transformer，表明Transformer模块能够从原始像素执行时空建模，但内存消耗大。随后我们提出VidTr，在保持相同性能的同时将内存成本降低3.3。为进一步优化模型，我们提出基于标准差的topK注意力池化（），其通过沿时间维度丢弃非信息性特征来减少计算量。VidTr在五个常用数据集上以更低计算需求取得最先进性能，显示了我们设计的高效性与有效性。最后，误差分析与可视化表明VidTr尤其擅长预测需要长期时序推理的动作。
引用
@article{arxiv.2104.11746,
title = {VidTr: Video Transformer Without Convolutions},
author = {Yanyi Zhang and Xinyu Li and Chunhui Liu and Bing Shuai and Yi Zhu and Biagio Brattoli and Hao Chen and Ivan Marsic and Joseph Tighe},
journal= {arXiv preprint arXiv:2104.11746},
year = {2021}
}
备注
ICCV 2021 Accepted