超越封闭式视频检索：面向真实世界视频搜索与时段定位的基准测试与智能体框架
计算机视觉与模式识别
2026-02-12 v1 机器学习
摘要
传统的视频检索基准测试侧重于将精确描述与封闭视频池匹配，无法反映真实世界搜索由模糊、多维记忆在开放网络上进行的特征。我们提出 \textbf{RVMS-Bench}，一个用于评估真实世界视频记忆搜索的综合系统。其包含 \textbf{1,440 个样本}，覆盖 \textbf{20 个多样化类别}和 \textbf{四个时长组}，源自 \textbf{真实世界开放网络视频}。RVMS-Bench 采用分层描述框架，涵盖 \textbf{全局印象、关键时刻、时序背景和听觉记忆}，以模拟真实的多维搜索线索，且所有样本均通过人工在环验证。我们进一步提出 \textbf{RACLO}，一个智能体框架，采用归谬推理模拟人类“回忆-搜索-验证”认知过程，有效解决通过模糊记忆在真实世界中搜索视频的挑战。实验表明，现有的 MLLM 在基于模糊记忆的真实世界视频检索和时段定位方面仍表现不足。我们认为本工作将促进视频检索在真实世界非结构化场景下的鲁棒性。
引用
@article{arxiv.2602.10159,
title = {Beyond Closed-Pool Video Retrieval: A Benchmark and Agent Framework for Real-World Video Search and Moment Localization},
author = {Tao Yu and Yujia Yang and Haopeng Jin and Junhao Gong and Xinlong Chen and Yuxuan Zhou and Shanbin Zhang and Jiabing Yang and Xinming Wang and Hongzhu Yi and Ping Nie and Kai Zou and Zhang Zhang and Yan Huang and Liang Wang and Yeshani and Ruiwen Tao and Jin Ma and Haijin Liang and Jinwen Luo},
journal= {arXiv preprint arXiv:2602.10159},
year = {2026}
}
备注
49 pages, 9 figures