PMI 采样器:基于块相似度引导的航拍动作识别帧选择
计算机视觉与模式识别
2023-11-20 v2
摘要
我们提出了一种用于视频动作识别中选择信息帧的新算法。我们的方法专为使用移动摄像机捕获的航拍视频设计,其中人物演员在视频帧中占据较小的空间分辨率。我们的算法利用了航拍视频内的运动偏置,从而能够选择运动显著的帧。我们引入了块互信息(PMI)分数的概念,通过度量图像块之间的相似性来量化相邻帧之间的运动偏置。我们使用该分数来评估一帧相对于另一帧所包含的判别性运动信息量。我们提出了一种使用偏移漏型 ReLu 与累积分布函数的自适应帧选择策略,确保采样帧全面覆盖所有具有高运动显著性的关键片段。我们的方法可与任何动作识别模型集成以提升其精度。在实践中,我们的方法在 UAV-Human 上取得了 2.2%–13.8% 的 top-1 精度相对提升,在 NEC Drone 上为 6.8%,在 Diving48 数据集上为 9.0%。
引用
@article{arxiv.2304.06866,
title = {PMI Sampler: Patch Similarity Guided Frame Selection for Aerial Action Recognition},
author = {Ruiqi Xian and Xijun Wang and Divya Kothandaraman and Dinesh Manocha},
journal= {arXiv preprint arXiv:2304.06866},
year = {2023}
}