HFS: 面向高效视频推理的整体查询感知帧选择

视频理解中的关键帧选择面临重大挑战。传统的Top-K选择方法独立地对帧进行评分，往往无法整体优化选择。这种独立评分常常导致选择时间上聚集且视觉上冗余的帧。此外，使用多模态大语言模型（MLLM）离线生成的伪标签训练轻量级选择器，使得监督信号无法动态适应任务目标。为了解决这些局限性，我们提出了一个端到端可训练的、任务自适应的帧选择框架。链式思维（Chain-of-Thought）方法引导小语言模型（SLM）生成任务特定的隐式查询向量，这些向量与多模态特征结合以实现动态帧评分。我们进一步定义了一个包含相关性、覆盖度和冗余度的连续集合级目标函数，通过Gumbel-Softmax实现可微分优化，以在集合级别选择最优帧组合。最后，采用学生-教师互学习，其中学生选择器（SLM）和教师推理器（MLLM）通过KL散度对齐其帧重要性分布。结合交叉熵损失，这实现了端到端优化，消除了对静态伪标签的依赖。在包括Video-MME、LongVideoBench、MLVU和NExT-QA在内的各种基准测试上的实验表明，我们的方法显著优于现有方法。