用于密集、遮挡及大规模事件中地理空间车辆检测的多模态协作网络
计算机视觉与模式识别
2024-05-15 v1
摘要
在大规模灾害事件中，最优救援路线的规划取决于灾害现场的目标检测能力，其中主要挑战之一是存在密集且被遮挡的目标。现有方法通常基于 RGB 模态，在拥挤环境中难以区分颜色和纹理相似的目标，且无法识别被遮挡的物体。为此，我们首先利用 RGB 和高度图模态，构建了两个用于大规模事件的多模态密集与遮挡车辆检测数据集。基于这些数据集，我们提出了一种用于密集和遮挡车辆检测的多模态协作网络，简称 MuDet。MuDet 分层增强了模态内和跨模态的可判别信息完整性，并区分了简单样本和复杂样本。MuDet 包含三个主要模块：单模态特征分层增强、多模态交叉学习和难易判别模式。Uni-Enh 和 Mul-Lea 增强了每个模态内的特征，并促进了两种异构模态特征的交叉整合。He-Dis 通过定义置信度值并设置阈值，有效分离了具有显著类内差异和极小类间差异的密集遮挡车辆目标，从而抑制了复杂背景。在两个重新标注的多模态基准数据集（4K-SAI-LCS 数据集和 ISPRS Potsdam 数据集）上的实验结果证明了 MuDet 的鲁棒性和泛化能力。本工作的代码已在 \url{https://github.com/Shank2358/MuDet} 开源。
引用
@article{arxiv.2405.08251,
title = {Multimodal Collaboration Networks for Geospatial Vehicle Detection in Dense, Occluded, and Large-Scale Events},
author = {Xin Wu and Zhanchao Huang and Li Wang and Jocelyn Chanussot and Jiaojiao Tian},
journal= {arXiv preprint arXiv:2405.08251},
year = {2024}
}