基于课程式学习的时间对比学习
计算机视觉与模式识别
2022-09-05 v1
摘要
我们提出了 ConCur，一种对比视频表示学习方法，该方法利用课程式学习在对比训练中施加动态采样策略。具体而言，ConCur 以简单的正样本（时间上接近且语义相似的片段）开始对比训练，随着训练的进行，它增加时间跨度，有效地采样困难正样本（时间上远离且语义不相似的片段）。为了学习更好的上下文感知表示，我们还提出了一个辅助任务，即预测一对正样本片段之间的时间距离。我们在两个流行的动作识别数据集 UCF101 和 HMDB51 上进行了广泛的实验，在这两个数据集上，我们提出的方法在视频动作识别和视频检索这两个基准任务上均达到了最先进的性能。我们通过使用 R(2+1)D 和 C3D 编码器以及在 Kinetics-400 和 Kinetics-200 数据集上进行预训练，探索了编码器骨干网络和预训练策略的影响。此外，详细的消融研究显示了我们提出的方法中每个组件的有效性。
引用
@article{arxiv.2209.00760,
title = {Temporal Contrastive Learning with Curriculum},
author = {Shuvendu Roy and Ali Etemad},
journal= {arXiv preprint arXiv:2209.00760},
year = {2022}
}