面向恶劣天气的跨模态融合Mamba检测
计算机视觉与模式识别
2025-07-09 v2 多媒体
机器人学
图像与视频处理
摘要
可见红外图像对提供互补信息，增强了在真实场景中针对目标检测的可靠性和鲁棒性。然而，大多数现有方法在复杂天气条件下难以保持鲁棒性，限制了其适用性。同时，模态融合中依赖注意力机制会引入显著的计算复杂度和存储开销，尤其是在处理高分辨率图像时。为此，我们提出了一种面向恶劣天气的Cross-modality Fusion Mamba（CFMW），以增强稳定性和经济性。凭借所提出的扰动自适应扩散模型（PADM）和跨模态融合Mamba（CFM）模块，CFMW能够重建受恶劣天气影响的视觉特征，丰富图像细节的表征。凭借高效的架构设计，CFMW在Transformer式融合（如CFT）时效率提升3倍。为弥补相关数据集的差距，我们构建了一个包含多种恶劣天气情景（如雨雾、雪天）的Severe Weather Visible-Infrared（SWVI）数据集。数据集包含64,281对可见红外图像，为未来研究提供了宝贵资源。在公开数据集（即M3FD和LLVIP）以及新构建的SWVI数据集上的大量实验明确显示，CFMW实现了状态最佳的检测性能。该数据集和源代码将公开发布于https://github.com/lhy-zjut/CFMW。
引用
@article{arxiv.2404.16302,
title = {CFMW: Cross-modality Fusion Mamba for Robust Object Detection under Adverse Weather},
author = {Haoyuan Li and Qi Hu and Binjia Zhou and You Yao and Jiacheng Lin and Kailun Yang and Peng Chen},
journal= {arXiv preprint arXiv:2404.16302},
year = {2025}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT). The dataset and source code will be made publicly available at https://github.com/lhy-zjut/CFMW