TFCNet：用于静态无偏时序推理的时间全连接网络
计算机视觉与模式识别
2022-03-14 v1
摘要
时序推理是视觉智能的一项重要功能。在计算机视觉研究界，时序推理通常以视频分类的形式被研究，近年来许多最先进的神经网络结构与数据集基准被提出，尤其是3D CNN和Kinetics。然而，一些近期工作发现，当前视频分类基准包含对静态特征的强烈偏置，因而无法准确反映时序建模能力。旨在消除静态偏置的新视频分类基准被提出，在这些新基准上的实验表明，当前的基于片段的3D CNN被RNN结构和近期视频transformer超越。本文中，我们发现，当采用视频级采样策略时，3D CNN及其高效深度可分离变体实际上能够在静态无偏时序推理基准上以显著优势击败RNN和近期视觉transformer。进一步，我们提出时间全连接块（TFC Block），一种高效且有效的组件，其沿时间维度近似全连接层以获得视频级感受野，增强时空推理能力。将TFC块插入视频级3D CNN（V3D）中，我们提出的TFCNet在合成时序推理基准CATER和真实世界静态无偏数据集Diving48上建立了新的最先进结果，超越所有先前方法。
引用
@article{arxiv.2203.05928,
title = {TFCNet: Temporal Fully Connected Networks for Static Unbiased Temporal Reasoning},
author = {Shiwen Zhang},
journal= {arXiv preprint arXiv:2203.05928},
year = {2022}
}
备注
The code and model will be released once accepted