FuTH-Net：融合时间关系与整体特征用于航拍视频分类
计算机视觉与模式识别
2022-09-28 v1
摘要
无人机（UAV）因其低成本与高机动性现已广泛应用于数据采集。随着航拍视频量的增长，自动解析这些视频的需求正在激增。为此，当前研究主要聚焦于沿空间与时间维度进行卷积以提取整体特征。然而，这些方法受限于较小的时间感受野，无法充分捕获对描述复杂动态至关重要长期时间依赖。本文提出一种称为 FuTH-Net 的新型深度神经网络，不仅对整体特征建模，还对航拍视频分类的时间关系建模。此外，整体特征在一种新颖融合模块中由多尺度时间关系精炼，以产生更具判别力的视频表示。更具体地，FuTH-Net 采用双通路架构：(1) 整体表示通路，学习帧外观与短期时间变化的通用特征；(2) 时间关系通路，捕获任意帧间的多尺度时间关系，提供长期时间依赖。随后，提出一种新颖融合模块以时空整合两通路所学特征。我们的模型在两个航拍视频分类数据集 ERA 与 Drone-Action 上评估，取得了当前最优结果。这证明了其在不同识别任务（事件分类与人动作识别）上的有效性与良好泛化能力。为便利进一步研究，我们在 https://gitlab.lrz.de/ai4eo/reasoning/futh-net 发布了代码。
引用
@article{arxiv.2209.11316,
title = {FuTH-Net: Fusing Temporal Relations and Holistic Features for Aerial Video Classification},
author = {Pu Jin and Lichao Mou and Yuansheng Hua and Gui-Song Xia and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2209.11316},
year = {2022}
}