用于多速率视频分析的随机时间跳帧

当前最先进的视频理解方法采用时间抖动来模拟以不同帧率分析视频。然而，这对于动作或子动作以不同速度发生的多速率视频效果不佳。帧采样率应随不同的运动速度而变化。在这项工作中，我们提出了一种简单而有效的策略，称为随机时间跳帧（random temporal skipping），以应对这种情况。该策略通过在训练期间随机化采样率来有效处理多速率视频。它是一种穷举式方法，有可能覆盖所有运动速度变化。此外，由于较大的时间跳帧，我们的网络可以看到原本覆盖超过100帧的视频片段。这样的时间范围足以分析大多数动作/事件。我们还引入了一种遮挡感知光流学习方法，为人动作识别生成改进的运动图。我们的框架是端到端可训练的，实时运行，并在六个广泛采用的视频基准上取得了最先进的性能。