拓宽视野用于自监督视频学习
计算机视觉与模式识别
2021-10-20 v3
摘要
大多数成功的自监督学习方法被训练来对齐数据中两个独立视图的表征。视频领域的最先进方法受图像技术启发，其中这两个视图类似地通过裁剪并增强所得裁剪块来提取。然而，这些方法遗漏了视频域中的一个关键要素：时间。我们引入 BraVe，一个用于视频的自监督学习框架。在 BraVe 中，一个视图可访问视频的窄时间窗，而另一视图可广泛访问视频内容。我们的模型学习从窄视图泛化到视频的整体内容。此外，BraVe 使用不同骨干网络处理视图，从而能够在宽视图中引入替代增强或模态，如光流、随机卷积 RGB 帧、音频或其组合。我们证明 BraVe 在标准视频与音频分类基准（包括 UCF101、HMDB51、Kinetics、ESC-50 和 AudioSet）上的自监督表征学习中取得了 SOTA 结果。
引用
@article{arxiv.2103.16559,
title = {Broaden Your Views for Self-Supervised Video Learning},
author = {Adrià Recasens and Pauline Luc and Jean-Baptiste Alayrac and Luyu Wang and Ross Hemsley and Florian Strub and Corentin Tallec and Mateusz Malinowski and Viorica Patraucean and Florent Altché and Michal Valko and Jean-Bastien Grill and Aäron van den Oord and Andrew Zisserman},
journal= {arXiv preprint arXiv:2103.16559},
year = {2021}
}
备注
This paper is an extended version of our ICCV-21 paper. It includes more results as well as a minor architectural variation which improves results