MoQuad：面向运动特征的四元组构建用于视频对比学习
计算机视觉与模式识别
2022-12-22 v1
摘要
学习有效的运动特征是视频表征学习的核心追求。本文提出一种简单而有效的样本构建策略，以增强视频对比学习中运动特征的学习。所提方法称为面向运动特征的四元组构建（MoQuad），通过对正样本和负样本的外观与运动进行精细扰动来扩充实例判别，为每个视频实例创建一个四元组，从而促使模型利用运动信息。与近期为学习运动特征创建额外辅助任务或采用显式时间建模的方法不同，我们的方法保持了简单干净的对比学习范式（即 SimCLR），无需多任务学习或额外建模。此外，我们通过分析初始 MoQuad 实验设计了两种额外的训练策略。仅将 MoQuad 应用于 SimCLR，大量实验表明我们在下游任务上取得了优于当前最优方法的性能。值得注意的是，在 UCF-101 动作识别任务上，我们在 Kinetics-400 上仅预训练 200 个 epoch 后达到了 93.7% 的准确率，超越了多种先前方法。
引用
@article{arxiv.2212.10870,
title = {MoQuad: Motion-focused Quadruple Construction for Video Contrastive Learning},
author = {Yuan Liu and Jiacheng Chen and Hao Wu},
journal= {arXiv preprint arXiv:2212.10870},
year = {2022}
}
备注
ECCV2022 WorkShop