多模态无人机检测、分类与跟踪算法——CVPR 2024 UG2挑战赛技术报告
机器人学
2024-05-28 v1 计算机视觉与模式识别
摘要
本技术报告介绍了UG2+（CVPR 2024无人机跟踪与姿态估计挑战赛中的一个任务）的冠军模型。该挑战面临在极端天气条件下使用多模态传感器信息（包括立体视觉、各种激光雷达、雷达和音频阵列）进行无人机检测、无人机类型分类和2D/3D轨迹估计的困难。利用这些信息，我们提出了一种多模态无人机检测、分类和3D跟踪方法，以实现准确的无人机分类和跟踪。提出了一种新颖的分类流程，融合了序列融合、感兴趣区域（ROI）裁剪和关键帧选择。我们的系统集成了前沿的分类技术和复杂的后处理步骤，以提高准确性和鲁棒性。设计的姿态估计流程包含三个模块：动态点分析、多目标跟踪器和轨迹补全技术。大量实验验证了我们方法的有效性和精度。此外，我们还提出了一种新颖的数据集预处理方法，并对我们的设计进行了全面的消融研究。我们最终在MMUAD数据集的分类和跟踪任务中取得了最佳性能。代码和配置可在https://github.com/dtc111111/Multi-Modal-UAV获取。
引用
@article{arxiv.2405.16464,
title = {Multi-Modal UAV Detection, Classification and Tracking Algorithm -- Technical Report for CVPR 2024 UG2 Challenge},
author = {Tianchen Deng and Yi Zhou and Wenhua Wu and Mingrui Li and Jingwei Huang and Shuhong Liu and Yanzeng Song and Hao Zuo and Yanbo Wang and Yutao Yue and Hesheng Wang and Weidong Chen},
journal= {arXiv preprint arXiv:2405.16464},
year = {2024}
}
备注
Accepted by CVPR 2024 workshop. The 1st winning model in CVPR 2024 UG2+ challenge. The code and configuration of our method are available at https://github.com/dtc111111/Multi-Modal-UAV