TransVisDrone：用于航拍视频中基于视觉的无人机间检测的时空 Transformer
计算机视觉与模式识别
2023-08-29 v2 机器人学
摘要
利用视觉反馈的无人机间检测具有重要应用，如检测无人机碰撞、探测无人机攻击或与其他无人机协同飞行。然而，现有方法计算代价高、采用非端到端优化且具复杂多阶段流程，难以在边缘设备上实时部署。本文提出一个简洁而有效的框架 \textit{TransVisDrone}，提供具有更高计算效率的端到端方案。我们利用 CSPDarkNet-53 网络学习对象相关空间特征，并采用 VideoSwin 模型通过学习无人机运动的时空依赖来改善复杂场景下的无人机检测。我们的方法在三个具挑战性的真实数据集上取得最优性能（Average [email protected]）：NPS 0.95、FLDrones 0.75 与 AOT 0.80，且吞吐量高于以往方法。我们还展示了其在边缘设备上的部署能力及在无人机碰撞（遭遇）检测中的实用性。项目：\url{https://tusharsangam.github.io/TransVisDrone-project-page/}。
引用
@article{arxiv.2210.08423,
title = {TransVisDrone: Spatio-Temporal Transformer for Vision-based Drone-to-Drone Detection in Aerial Videos},
author = {Tushar Sangam and Ishan Rajendrakumar Dave and Waqas Sultani and Mubarak Shah},
journal= {arXiv preprint arXiv:2210.08423},
year = {2023}
}
备注
ICRA 2023