SCVRL:洗牌式对比视频表示学习
计算机视觉与模式识别
2022-05-25 v1
摘要
我们提出 SCVRL,一种新颖的基于对比的视频自监督学习框架。与以往主要聚焦于学习视觉语义(如 CVRL)的基于对比学习的方法不同,SCVRL 能够同时学习语义与运动模式。为此,我们在现代对比学习范式下重新表述了流行的洗牌 pretext 任务。我们展示了我们基于 transformer 的网络在自监督设定下具有学习运动的天然能力,并取得了强劲性能,在四个基准上优于 CVRL。
引用
@article{arxiv.2205.11710,
title = {SCVRL: Shuffled Contrastive Video Representation Learning},
author = {Michael Dorkenwald and Fanyi Xiao and Biagio Brattoli and Joseph Tighe and Davide Modolo},
journal= {arXiv preprint arXiv:2205.11710},
year = {2022}
}
备注
CVPR 2022 - L3DIVU workshop