面向弱对齐无人机目标检测的跨模态偏移引导的动态对齐与融合
计算机视觉与模式识别
2025-06-23 v1
摘要
无人机目标检测在环境监测和城市安全等应用中发挥着重要作用。为提高鲁棒性，近期研究探索了通过融合可见光 (RGB) 和红外 (IR) 图像实现多模态检测。然而，由于无人机平台的运动和异步成像，模态之间常常出现空间错位，导致弱对齐。这引入了两个主要挑战：对应空间位置处的语义不一致以及特征融合中的模态冲突。现有方法常常孤立地解决这些问题，限制了其效果。本文提出了一种统一框架——跨模态偏移引导的动态对齐与融合 (CoDAF)，用于在弱对齐的无人机目标检测中联合解决上述两个挑战。CoDAF包含两个新模块：偏移引导的语义对齐 (OSA)，通过估计基于注意力的空间偏移，并利用由共享语义空间引导的可变卷积实现更精确的特征对齐；以及动态注意力引导的融合模块 (DAFM)，通过门控机制自适应平衡模态贡献，并通过空间-通道双注意力细化融合特征。通过将对齐和融合统一设计，CoDAF实现了对无人机目标检测的鲁棒性。实验在标准基准数据集上验证了我们方法的有效性，CoDAF在DroneVehicle数据集上实现了78.6%的mAP。
引用
@article{arxiv.2506.16737,
title = {Cross-modal Offset-guided Dynamic Alignment and Fusion for Weakly Aligned UAV Object Detection},
author = {Liu Zongzhen and Luo Hui and Wang Zhixing and Wei Yuxing and Zuo Haorui and Zhang Jianlin},
journal= {arXiv preprint arXiv:2506.16737},
year = {2025}
}