只是另一天:通过判别式提示实现独特视频描述
计算机视觉与模式识别
2024-10-16 v1
摘要
长视频包含许多重复的动作、事件和镜头。这些重复场景常被给出相同的描述,这会导致使用文本搜索难以检索到exact desired clip。本文提出了独特描述问题:给定多个相同描述的片段,为每个片段生成唯一标识其自身的新描述。我们提出了判别式提示描述(CDP)方法,该方法预测能够分离 identically 描述片段的属性,并据此生成唯一描述。我们引入了两个基于非主观录像和时间循环电影的独特描述基准数据集——后者常见重复动作。我们表明,CDP 生成的描述在非主观视频上的文本到视频 R@1 提升 15%,在时间循环电影中提升 10%。
引用
@article{arxiv.2410.11702,
title = {It's Just Another Day: Unique Video Captioning by Discriminative Prompting},
author = {Toby Perrett and Tengda Han and Dima Damen and Andrew Zisserman},
journal= {arXiv preprint arXiv:2410.11702},
year = {2024}
}
备注
ACCV 2024 Oral. Project page: https://tobyperrett.github.io/its-just-another-day/