用于动作识别的时间金字塔网络

视觉节奏刻画了动作的动力学特性及其时间尺度。对不同的动作建模此类视觉节奏有助于其识别。以往工作常通过以多种速率采样原始视频并构建输入级帧金字塔来捕获视觉节奏，这通常需要代价高昂的多分支网络来处理。本文在特征层级提出了一种通用的时序金字塔网络（Temporal Pyramid Network, TPN），其可以以即插即用的方式灵活集成到 2D 或 3D 骨干网络中。TPN 的两个核心组件——特征来源与特征融合——为骨干网络构建了特征层次结构，从而能够捕获不同节奏下的动作实例。TPN 在多个动作识别数据集上也展现出相对于其他具有挑战性基线的持续提升。具体而言，当配备 TPN 时，采用密集采样的 3D ResNet-50 在 Kinetics-400 验证集上获得了 2% 的提升。进一步的分析还表明，TPN 在其视觉节奏方差较大的动作类别上获得了绝大部分提升，验证了 TPN 的有效性。