用于视频动作识别的分层对比运动学习

视频动作识别的一个核心问题是如何对运动建模。本文提出分层对比运动学习，一种从原始视频帧中提取有效运动表征的自监督学习新框架。我们的方法逐步学习对应于网络中不同抽象层次的运动特征层级。这种分层设计弥合了低级运动线索与高级识别任务之间的语义鸿沟，并促进了多层级上外观与运动信息的融合。在每一层，通过对比学习提供显式的运动自监督，以强制当前层的运动特征预测前一层的未来特征。因此，更高层的运动特征被训练为逐渐捕捉语义动态，并对动作识别更具判别力。我们的运动学习模块轻量且灵活，可嵌入多种骨干网络。在四个基准上的大量实验表明，所提方法一致取得优越结果。