SCANet：面向弱监督视频时刻检索的场景复杂度感知网络
计算机视觉与模式识别
2025-04-15 v2
摘要
视频时刻检索旨在定位与给定语言查询对应的视频中的时刻。为避免标注时间时刻的高昂代价，弱监督VMR（wsVMR）系统已被研究。对此类系统，生成若干候选时刻提议再选择最合适提议是一种流行方法。这些提议被假定包含视频中许多可区分场景作为候选。然而，现有wsVMR系统的提议未尊重各视频中变化的场景数量，其提议是启发式确定的而与视频无关。我们认为检索系统应能够应对由各视频中变化场景数量引起的复杂度。为此，我们提出一种称为场景复杂度感知网络（SCANet）的检索系统新概念，其度量每个视频中多场景的“场景复杂度”并生成响应于各视频中可变场景复杂度的自适应提议。在三个检索基准（即Charades-STA、ActivityNet、TVR）上的实验结果取得了最先进的性能，并证明了引入场景复杂度的有效性。
引用
@article{arxiv.2310.05241,
title = {SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval},
author = {Sunjae Yoon and Gwanhyeong Koo and Dahyun Kim and Chang D. Yoo},
journal= {arXiv preprint arXiv:2310.05241},
year = {2025}
}
备注
11 pages, Accepted in ICCV 2023