SWTF：用于无人机活动识别的稀疏加权时序融合
计算机视觉与模式识别
2022-11-11 v1
摘要
在过去几年中，基于无人机摄像头的人类活动识别（HAR）受到了计算机视觉研究界的极大关注。鲁棒且高效的HAR系统在视频监控、人群行为分析、运动分析和人机交互等领域发挥着关键作用。其挑战在于复杂的姿态、不同视角的理解以及动作发生的环境场景。为了应对这些复杂性，本文提出了一种新颖的稀疏加权时序融合（SWTF）模块，利用稀疏采样的视频帧获取全局加权时序融合结果。所提出的SWTF分为两个部分。第一部分是时序段网络，对给定的帧集合进行稀疏采样。第二部分是加权时序融合，将源自光流的特征图与原始RGB图像进行融合。随后接入由卷积神经网络模块和全连接层组成的基础网络，以实现活动识别。SWTF网络可作为现有深度CNN架构的即插即用模块，通过消除对独立时序流的需求来优化其学习时序信息。该方法在三个公开的基准数据集上进行了评估，即Okutama、MOD20和Drone-Action。所提出的模型在相应数据集上分别达到了72.76%、92.56%和78.86%的准确率，从而以显著优势超越了先前最先进的性能。
引用
@article{arxiv.2211.05531,
title = {SWTF: Sparse Weighted Temporal Fusion for Drone-Based Activity Recognition},
author = {Santosh Kumar Yadav and Esha Pahwa and Achleshwar Luthra and Kamlesh Tiwari and Hari Mohan Pandey and Peter Corcoran},
journal= {arXiv preprint arXiv:2211.05531},
year = {2022}
}