利用部分相关性增强改进视频库时刻检索

视频库时刻检索（VCMR）是一项新的视频检索任务，旨在利用文本查询从未剪辑视频的大型库中检索相关时刻。视频与查询之间的相关性是部分的，主要体现在两个方面：(1) 范围：未剪辑视频包含许多帧，但并非所有帧都与查询相关，强相关性通常仅出现在相关时刻内。(2) 模态：查询的相关性随不同模态而变化，动作描述与视觉元素更对齐，而角色对话则与文本信息更相关。现有方法往往同等对待所有视频内容，导致时刻检索效果次优。我们认为，有效捕捉查询与视频之间的部分相关性对于 VCMR 任务至关重要。为此，我们提出了部分相关性增强模型（PREM）以改进 VCMR。VCMR 包含两个子任务：视频检索和时刻定位。为了与其不同的目标保持一致，我们实施了专门的局部相关性增强策略。对于视频检索，我们引入了一种多模态协同视频检索器，通过特定模态的池化为两种模态生成不同的查询表示，以确保更有效的匹配。对于时刻定位，我们提出了“先聚焦后融合”的时刻定位器，利用特定模态的门控机制来捕捉关键内容。我们还为检索器和定位器引入了相关内容增强训练方法，以增强模型捕捉相关内容的能力。在 TVR 和 DiDeMo 数据集上的实验结果表明，所提出的模型优于基线方法，实现了 VCMR 的新最先进水平（SOTA）。代码地址：\url{https://github.com/hdy007007/PREM}。