通过识别时间变换进行视频表示学习
计算机视觉与模式识别
2020-07-22 v1
摘要
我们引入一种新颖的自监督学习方法，以学习对运动动态变化敏感的视频表示。我们的表示可从无人工标注的数据中学习，并为在小规模标注数据集上训练神经网络用于动作识别等任务提供显著助力，此类任务需要准确区分物体的运动。我们通过训练神经网络区分视频序列与其时间变换版本，来促进无人工标注的准确运动学习。为学习区分非平凡运动，变换的设计基于两条原则：1）基于不同幅度的时间扭曲定义运动簇；2）确保仅通过尽可能多地观察和分析图像帧才能使区分可行。因此，我们引入以下变换：前向-后向播放、随机帧跳过与均匀帧跳过。我们的实验表明，用所提方法训练的网络的表示在 UCF101 与 HMDB51 上的动作识别迁移性能有所提升。
引用
@article{arxiv.2007.10730,
title = {Video Representation Learning by Recognizing Temporal Transformations},
author = {Simon Jenni and Givi Meishvili and Paolo Favaro},
journal= {arXiv preprint arXiv:2007.10730},
year = {2020}
}
备注
ECCV 2020