面向部分相关视频检索的非均匀事件建模
计算机视觉与模式识别
2025-06-04 v2 人工智能
摘要
给定文本查询，部分相关视频检索（PRVR）旨在检索包含相关时刻的未剪辑视频，其中事件建模对于将视频划分为与文本部分对应的较小时间事件至关重要。以往的方法通常将视频分割为固定数量的等长片段，导致事件边界模糊。此外，它们依赖均值池化来计算事件表示，不可避免地引入不期望的错位。为解决这些问题，我们提出了一种用于 PRVR 的非均匀事件建模（UEM）框架。我们首先引入渐进式分组视频分割（PGVS）模块，根据连续帧之间的时间依赖性和语义相似性迭代地构建事件，从而实现清晰的事件边界。此外，我们还提出了上下文感知事件细化（CAER）模块，以基于文本的交叉注意力来细化事件表示。这使得事件表示能够聚焦于给定文本最相关的帧，促进更精确的文本-视频对齐。大量实验表明，我们的方法在两个 PRVR 基准上取得了 SOTA 性能。代码可在 https://github.com/Sasa77777779/UEM.git 获取。
引用
@article{arxiv.2506.00891,
title = {Uneven Event Modeling for Partially Relevant Video Retrieval},
author = {Sa Zhu and Huashan Chen and Wanqian Zhang and Jinchao Zhang and Zexian Yang and Xiaoshuai Hao and Bo Li},
journal= {arXiv preprint arXiv:2506.00891},
year = {2025}
}
备注
Accepted by ICME 2025