一种灵活可扩展的视频时刻搜索框架
信息检索
2025-01-10 v1 计算机视觉与模式识别
摘要
视频时刻搜索，即在视频语料库中查找与用户查询相关的时刻，对于各种应用至关重要。然而，现有解决方案通常假设存在单个完美匹配的时刻，推理效率低下，且对长达一小时的视频存在局限性。本文介绍了一种灵活可扩展的框架，用于从任意长度的视频集合中检索与文本查询匹配的排序时刻列表，该任务称为排序视频时刻检索（RVMR）。我们的框架称为片段-提议-排序（SPR），将搜索过程简化为三个独立阶段：片段检索、提议生成和时刻细化与重排序。具体来说，视频被划分为等长片段，并离线索引预计算的嵌入，从而允许无论视频长度如何都能高效检索。对于可扩展的在线检索，片段和查询都被投影到共享特征空间中，以实现近似最近邻（ANN）搜索。然后，检索到的片段被合并为粗粒度的时刻提议。接着，设计了一个细化和重排序模块，用于对粗粒度提议的时间戳进行重新排序和调整。在TVR-Ranking数据集上的评估表明，我们的框架在显著降低计算成本和处理时间的同时，实现了最先进的性能。灵活的设计还允许独立改进每个阶段，使得SPR非常适合大规模应用。
引用
@article{arxiv.2501.05072,
title = {A Flexible and Scalable Framework for Video Moment Search},
author = {Chongzhi Zhang and Xizhou Zhu and Aixin Sun},
journal= {arXiv preprint arXiv:2501.05072},
year = {2025}
}