从无标签视频中进行最近邻帧间-帧内对比学习
计算机视觉与模式识别
2023-03-14 v1
摘要
对比学习近期在图像与视频领域缩小了自监督与监督方法间的差距。最先进的视频对比学习方法如 CVRL 与 -MoCo 将同一视频中两个片段进行时空间增强作为正样本。这些方法仅从单个视频局部采样正片段，忽视了其他在语义上相关、同样有用的视频。为应对此局限，我们利用来自全局空间的最近邻视频作为额外正样本对，从而提升正关键字多样性，并引入一种超越视频乃至类别边界的更宽松相似性概念。我们的方法，帧间-帧内视频对比学习（IIVCL），在一系列视频任务上提升了性能。
引用
@article{arxiv.2303.07317,
title = {Nearest-Neighbor Inter-Intra Contrastive Learning from Unlabeled Videos},
author = {David Fan and Deyu Yang and Xinyu Li and Vimal Bhat and Rohith MV},
journal= {arXiv preprint arXiv:2303.07317},
year = {2023}
}
备注
Accepted to the ICLR 2023 Workshop on Mathematical and Empirical Understanding of Foundation Models