VideoCLIP：用于零样本文本-视频理解的对比预训练
计算机视觉与模式识别
2021-10-04 v2 计算与语言
摘要
我们提出了 VideoCLIP，一种在不使用任何下游任务标签的情况下，预训练统一模型以实现零样本视频和文本理解的对比方法。VideoCLIP 通过将时间重叠的正样本视频-文本对与来自最近邻检索的困难负样本进行对比，来训练用于视频和文本的 transformer。我们在一系列多样的下游任务上进行了实验，包括序列级文本-视频检索、VideoQA、token 级动作定位和动作分割，结果显示出 SOTA 性能，超越了先前的工作，在某些情况下甚至优于有监督方法。代码可在 https://github.com/pytorch/fairseq/tree/main/examples/MMPT 获取。
引用
@article{arxiv.2109.14084,
title = {VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding},
author = {Hu Xu and Gargi Ghosh and Po-Yao Huang and Dmytro Okhonko and Armen Aghajanyan and Florian Metze and Luke Zettlemoyer and Christoph Feichtenhofer},
journal= {arXiv preprint arXiv:2109.14084},
year = {2021}
}
备注
EMNLP 2021