视频中的时间关系推理

时间关系推理,即把物体或实体随时间有意义的变化联系起来的能力,是智能物种的基本属性。在本文中,我们引入了一个有效且可解释的网络模块——时间关系网络 (Temporal Relation Network, TRN),旨在学习和推理视频帧之间多个时间尺度上的时间依赖关系。我们使用三个近期的视频数据集——Something-Something、Jester 和 Charades——在动作识别任务上评估了配备 TRN 的网络,这些任务从根本上依赖于时间关系推理。我们的结果表明,所提出的 TRN 赋予卷积神经网络发现视频中时间关系的显著能力。仅通过稀疏采样的视频帧,配备 TRN 的网络就能在 Something-Something 数据集上准确预测人-物交互,并在 Jester 数据集上以极具竞争力的性能识别各种人体手势。在 Charades 数据集的日常活动识别中,配备 TRN 的网络也优于双流网络和 3D 卷积网络。进一步的分析表明,这些模型学习到了直观且可解释的视觉常识知识。