DroneAttention：基于无人机摄像机的活动识别的稀疏加权时间注意力
计算机视觉与模式识别
2022-12-08 v1
摘要
近年来，利用无人机挂载摄像机的人体活动识别(HAR)引起了计算机视觉研究界的广泛关注。一个鲁棒且高效的HAR系统在视频监控、人群行为分析、体育分析和人机交互等领域具有关键作用。使其具有挑战性的是复杂姿态、理解不同视角以及动作发生的环境场景。为应对此类复杂性，本文提出一种新颖的稀疏加权时间注意力(SWTA)模块，利用稀疏采样的视频帧获取全局加权时间注意力。所提SWTA由两部分组成。第一，时间分段网络，对给定帧集进行稀疏采样。第二，加权时间注意力，其将源自光流的注意力图与原始RGB图像融合。随后是一个基础网络，由卷积神经网络(CNN)模块与全连接层构成，提供活动识别结果。SWTA网络可作为插件模块用于现有深度CNN架构，通过消除独立时间流的需求来优化其学习时序信息。其在三个公开基准数据集Okutama、MOD20与Drone-Action上进行了评估。所提模型在相应数据集上分别取得72.76%、92.56%与78.86%的准确率，从而以25.26%、18.56%与2.94%的幅度超越先前的最先进性能。
引用
@article{arxiv.2212.03384,
title = {DroneAttention: Sparse Weighted Temporal Attention for Drone-Camera Based Activity Recognition},
author = {Santosh Kumar Yadav and Achleshwar Luthra and Esha Pahwa and Kamlesh Tiwari and Heena Rathore and Hari Mohan Pandey and Peter Corcoran},
journal= {arXiv preprint arXiv:2212.03384},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2211.05531