Number it: 像翻阅漫画一样进行视频时域定位
计算机视觉与模式识别
2025-03-24 v3
摘要
视频大语言模型 (Vid-LLMs) 在理解视频内容以进行问答对话方面取得了显著进展。然而，它们难以将这种视觉理解扩展到需要精确时域定位的任务，即视频时域定位 (VTG)。为填补这一空白，我们提出了 Number-Prompt (NumPro)，这是一种新颖方法，通过向每个视频帧添加唯一数字标识符，赋予 Vid-LLMs 将视觉理解与时域定位相连接的能力。将视频视为一序列带编号的帧图像，NumPro 将 VTG 转化为一个直观过程：按序翻阅漫画分镜。这使 Vid-LLMs 能够“阅读”事件时间线，准确地将视觉内容与相应的时间信息关联起来。实验表明，NumPro 在不增加额外计算开销的情况下，显著提升了顶尖 Vid-LLMs 的 VTG 性能。此外，在 NumPro 增强数据集上微调确立了 VTG 的新最优水平 (SOTA)，在片段检索任务上 mIoU 超越先前最优方法高达 6.9%，在高光检测任务上 mAP 超越高达 8.5%。代码将发布在 https://github.com/yongliang-wu/NumPro。
引用
@article{arxiv.2411.10332,
title = {Number it: Temporal Grounding Videos like Flipping Manga},
author = {Yongliang Wu and Xinting Hu and Yuyang Sun and Yizhou Zhou and Wenbo Zhu and Fengyun Rao and Bernt Schiele and Xu Yang},
journal= {arXiv preprint arXiv:2411.10332},
year = {2025}
}
备注
Accepted by CVPR 2025