用于视频时刻检索的背景感知时刻检测
计算机视觉与模式识别
2024-10-02 v3
摘要
视频时刻检索（VMR）针对给定的自然语言查询在未裁剪视频中定位特定时刻。该任务易受视频数据集中固有的弱对齐问题影响。由于歧义，查询未能完全覆盖对应时刻的相关细节，或者该时刻可能包含未对齐及不相关的帧，这可能限制进一步的性能提升。为解决这个问题，我们提出背景感知时刻检测 transformer（BM-DETR）。我们的模型采用对比方法，谨慎利用与视频中其他时刻匹配的负查询。具体而言，我们的模型基于给定正查询时每帧的联合概率与负查询补集来预测目标时刻。这导致对周围背景的有效利用，提升了时刻敏感性并增强了视频中的整体对齐。在四个基准上的大量实验证明了我们方法的有效性。我们的代码见：\url{https://github.com/minjoong507/BM-DETR}
引用
@article{arxiv.2306.02728,
title = {Background-aware Moment Detection for Video Moment Retrieval},
author = {Minjoon Jung and Youwon Jang and Seongho Choi and Joochan Kim and Jin-Hwa Kim and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:2306.02728},
year = {2024}
}
备注
Accepted by WACV 2025