用于自监督视频表示学习的循环对比方法
计算机视觉与模式识别
2020-10-29 v1 机器学习
摘要
我们提出循环对比学习（CCL），一种用于学习视频表示的新颖自监督方法。遵循视频与其帧之间存在归属与包含关系的自然特性，CCL被设计为在各自域中考虑对比表示，寻找跨帧与跨视频的对应关系。这不同于近期仅学习跨帧或跨片段对应关系的方法。在我们的方法中，帧与视频表示由一个基于R3D架构的单一网络学习，在循环对比损失之前使用共享非线性变换来嵌入帧与视频特征。我们证明CCL学习的视频表示能很好地迁移到下游视频理解任务，在UCF101、HMDB51和MMAct的最近邻检索与动作识别任务上优于先前方法。
引用
@article{arxiv.2010.14810,
title = {Cycle-Contrast for Self-Supervised Video Representation Learning},
author = {Quan Kong and Wenpeng Wei and Ziwei Deng and Tomoaki Yoshinaga and Tomokazu Murakami},
journal= {arXiv preprint arXiv:2010.14810},
year = {2020}
}
备注
12 pages