WS-DETR:基于视觉-雷达融合与检测Transformer的鲁棒水面目标检测
计算机视觉与模式识别
2025-04-11 v1
摘要
无人水面艇(USVs)在复杂水域环境中的鲁棒目标检测对于可靠的导航与作业至关重要。具体而言,水面目标检测面临着边缘模糊与目标尺度多样的挑战。尽管视觉-雷达融合提供了一种可行的解决方案,但现有方法存在跨模态特征冲突的问题,这对模型的鲁棒性产生了负面影响。为解决该问题,我们提出了一种鲁棒的视觉-雷达融合模型WS-DETR。具体而言,我们首先引入多尺度边缘信息集成(MSEII)模块以增强边缘感知,并引入分层特征聚合器(HiFA)以在编码器中提升多尺度目标检测能力。随后,我们采用自运动点表示进行连续卷积与残差连接,以在点云数据不规则的情况下高效提取不规则特征。为进一步缓解跨模态冲突,我们引入了自适应特征交互融合(AFIF)模块,通过几何对齐与语义融合来整合视觉与雷达特征。在WaterScenes数据集上的大量实验表明,WS-DETR取得了最先进(SOTA)的性能,即使在恶劣天气与光照条件下仍保持其优越性。
引用
@article{arxiv.2504.07441,
title = {WS-DETR: Robust Water Surface Object Detection through Vision-Radar Fusion with Detection Transformer},
author = {Huilin Yin and Pengyu Wang and Senmao Li and Jun Yan and Daniel Watzenig},
journal= {arXiv preprint arXiv:2504.07441},
year = {2025}
}