基于点级监督的更快速视频时刻检索
计算机视觉与模式识别
2023-05-24 v1 多媒体
摘要
视频时刻检索（VMR）旨在利用自然语言查询从未裁剪视频中检索最相关的事件。现有 VMR 方法存在两个缺陷：（1）需要大量昂贵的时间标注以获得满意性能；（2）部署了复杂的跨模态交互模块，导致检索过程计算成本高且效率低。为解决这些问题，我们提出一种称为更廉价更快速时刻检索（Cheaper and Faster Moment Retrieval, CFMR）的新方法，其很好地平衡了 VMR 的检索精度、效率与标注成本。具体而言，我们提出的 CFMR 方法从点级监督中学习，其中每个标注是随机位于目标时刻内的单帧。其比传统的事件边界标注便宜 6 倍。此外，我们还设计了一种基于概念的多模态对齐机制，以在推理过程中绕过跨模态交互模块的使用，显著提升了检索效率。在三个广泛使用的 VMR 基准上的实验结果表明，所提出的 CFMR 方法在点级监督下建立了新的 SOTA。而且，与现有点级监督方法相比，它以超过 100 倍的 FLOPs 显著加速了检索速度。
引用
@article{arxiv.2305.14017,
title = {Faster Video Moment Retrieval with Point-Level Supervision},
author = {Xun Jiang and Zailei Zhou and Xing Xu and Yang Yang and Guoqing Wang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2305.14017},
year = {2023}
}
备注
10 pages, 7 figures