基于检测语义边界的小波帧选择用于长视频理解
计算机视觉与模式识别
2026-03-18 v2
摘要
由于高帧冗余和有限的上下文窗口，在将大型视觉语言模型（LVLMs）应用于长视频时，帧选择至关重要。当前方法通常选择与给定查询高度相关的帧，导致帧集合不连贯，忽视视频叙事结构。本文引入基于检测语义边界的小波帧选择（WFS-SB），一个无训练框架，提出一种新观点：有效的视频理解不仅依赖于高度相关性，更重要的是捕捉语义变化——即叙事关键转折点，这些点对理解视频的整体情节至关重要。然而，直接检测查询-帧相似性信号中的突变常因模型不确定性和瞬时视觉变化引起高频噪声而不可靠。为此，我们利用小波变换，其通过时频域的多分辨率分析提供了理想解决方案。通过应用该变换，我们将噪声信号分解为多个尺度，并从最粗尺度提取干净的语义变化信号。我们识别该信号的局部极大值作为语义边界，将视频分割为连贯的片段。基于此，WFS-SB 包含两个阶段的策略：首先，根据复合重要性评分自适应分配每个片段的帧预算；其次，在每个片段内部，采用最大边际相关性方法选择一组多样且相关的帧。广泛的实验表明，WFS-SB 在 VideoMME 上的准确率提升5.5%，在 MLVU 上的提升9.5%，在 LongVideoBench 上的提升6.2%，持续优于最先进的方法。我们的代码已发布于 https://github.com/MAC-AutoML/WFS-SB.
引用
@article{arxiv.2603.00512,
title = {Wavelet-based Frame Selection by Detecting Semantic Boundary for Long Video Understanding},
author = {Wang Chen and Yuhui Zeng and Yongdong Luo and Tianyu Xie and Luojun Lin and Jiayi Ji and Yan Zhang and Xiawu Zheng},
journal= {arXiv preprint arXiv:2603.00512},
year = {2026}
}
备注
Accepted at CVPR 2026