SpeedNet：学习视频中的速度感

我们希望自动预测视频中运动物体的“速度感”——它们是否以快于、等于或慢于其“自然”速度运动。我们方法的核心组件是 SpeedNet——一个新颖的深度网络，训练用于检测视频是否以正常速率播放，或是否被加速。SpeedNet 以自监督方式在大规模自然视频语料上训练，无需任何人工标注。我们展示了这一单一的二分类网络如何用于检测物体任意速率的速度感。我们展示了 SpeedNet 在包含复杂自然运动的广泛视频上的预测结果，并考察了它用于做出这些预测所利用的视觉线索。重要的是，我们表明通过预测视频速度，该模型学习到了一种强大且有意义的时空表征，超越了简单的运动线索。我们展示了这些习得特征如何提升自监督动作识别的性能，并可用于视频检索。此外，我们还将 SpeedNet 应用于生成随时间变化的自适应视频加速，使观众能更快观看视频，同时减少均匀加速视频典型的抖动、不自然运动。