WAVE-DETR：多模态可见光与声学真实生活无人机检测器
计算机视觉与模式识别
2025-09-15 v1 机器学习
摘要
我们引入了一种多模态 WAVE-DETR 无人机检测器，结合可见 RGB 和声学信号以实现鲁棒的真实生活 UAV 目标检测。我们的方法在依赖 Deformable DETR 和 Wav2Vec2 架构的统一目标检测器模型中融合视觉与声学特征，在具有挑战性的环境条件下取得了优异的性能。我们的工作利用了现有的 Drone-vs-Bird 数据集和新生成的 ARDrone 数据集，后者包含超过 7,500 张同步的图像和音频片段。我们展示了如何利用声学信息来提升 Deformable DETR 目标检测器在真实 ARDrone 数据集上的性能。我们基于门控机制、线性层、MLP 和交叉注意力开发、训练并测试了四种不同的融合配置。Wav2Vec2 声学嵌入与 Deformable DETR 的多分辨率特征图相融合，增强了所有尺寸无人机的目标检测性能。表现最佳的是门控融合方法，在 0.5 至 0.9 之间的所有 IoU 阈值下，对于小型无人机，该方法将 Deformable DETR 目标检测器在我们分布内和分布外 ARDrone 数据集上的 mAP 提高了 11.1% 至 15.3%。中型和大型无人机的 mAP 分数也得到了提升，所有尺寸无人机的总体增益范围为 3.27% 至 5.84%。
引用
@article{arxiv.2509.09859,
title = {WAVE-DETR Multi-Modal Visible and Acoustic Real-Life Drone Detector},
author = {Razvan Stefanescu and Ethan Oh and Ruben Vazquez and Chris Mesterharm and Constantin Serban and Ritu Chadha},
journal= {arXiv preprint arXiv:2509.09859},
year = {2025}
}
备注
11 pages, 11 figures