MITFAS：基于互信息的时序特征对齐与采样用于航拍视频动作识别
计算机视觉与模式识别
2023-11-17 v2 机器人学
摘要
我们提出一种用于无人机（UAV）视频中动作识别的新方法。我们的公式旨在处理由无人机运动引起的遮挡与视角变化。我们利用互信息的概念计算并对齐时域中对应于人体动作或运动的区域。这使得我们的识别模型能够从与运动相关的关键特征中学习。我们还提出一种新颖的帧采样方法，利用联合互信息获取无人机视频中信息量最大的帧序列。我们已将该方法与 X3D 集成，并在多个数据集上评估性能。实践中，在 UAV-Human（Li et al., 2021）上相较当前最优（SOTA）方法 Top-1 准确率提升 18.9%，在 Drone-Action（Perera et al., 2019）上提升 7.3%，在 NEC Drones（Choi et al., 2020）上提升 7.16%。
引用
@article{arxiv.2303.02575,
title = {MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Action Recognition},
author = {Ruiqi Xian and Xijun Wang and Dinesh Manocha},
journal= {arXiv preprint arXiv:2303.02575},
year = {2023}
}