MGSampler：一种用于视频动作识别的可解释采样策略

由于时间上的本质冗余与有限的计算资源，帧采样是视频动作识别中的基本问题。现有采样策略常采用固定帧选择，缺乏处理视频中复杂变化的灵活性。本文提出一种简单、稀疏且可解释的帧采样器，称为运动引导采样器（MGSampler）。我们的基本动机是：运动是重要且普适的信号，可驱动我们自适应地从视频中选择帧。相应地，我们在 MGSampler 设计中提出两个重要特性：运动敏感与运动均匀。首先，我们给出两种不同的运动表示，以高效区分运动显著帧与背景。然后，我们基于累积运动分布设计运动均匀采样策略，确保采样帧均匀覆盖所有具有高运动显著性的重要片段。我们的 MGSampler 产生了一种新的原则性且整体的采样方案，可嵌入任意现有视频架构。在五个基准上的实验证明了 MGSampler 相较先前固定采样策略的有效性，及其跨不同 backbone、视频模型与数据集的泛化能力。