分块时空路径网络

视频动作识别算法不仅应考虑空间信息，还应考虑时间关系，这仍然具有挑战性。我们提出了一种基于3D-CNN的动作识别模型，称为分块时空路径网络（BTSNet），它可通过多条路径调整时间和空间感受野。我们受一种基于自适应核选择的模型启发设计了该新颖模型，该模型是一种有效的特征编码架构，可自适应地为图像识别选择空间感受野。将该方法扩展到时间域，我们的模型提取时间和通道注意力，并融合各种候选操作的信息。为进行评估，我们在UCF-101、HMDB-51、SVW和Epic-Kitchen数据集上测试了所提模型，结果表明其在无预训练情况下具有良好的泛化能力。BTSNet还基于时空通道注意力提供可解释的视觉化。基于该视觉化，我们确认分块时空路径为3D卷积块提供了更好的表示。