VIFNet：一种用于图像去雾的端到端可见光-红外融合网络
计算机视觉与模式识别
2024-04-12 v1
摘要
图像去雾在环境感知中提出了重大挑战。近期研究主要关注基于深度学习的单模态方法，但在浓雾场景下可能导致严重的信息丢失。红外图像对雾具有鲁棒性，然而现有方法主要将红外模态视为辅助信息，未能充分挖掘其在去雾中的丰富信息。为应对这一挑战，本研究的关键思路是设计一个可见光-红外融合网络用于图像去雾。具体地，我们提出了一个多尺度深度结构特征提取（DSFE）模块，其中包含通道-像素注意力模块（CPAB），以恢复深度结构特征中更多的空间和边缘信息。此外，我们引入了一种不一致性加权融合策略，通过利用更可靠的信息来融合两种模态。为验证这一点，我们基于AirSim仿真平台构建了一个名为AirSim-VID的可见光-红外多模态数据集。在具有挑战性的真实和模拟图像数据集上进行的大量实验表明，VIFNet可以优于许多最先进的竞争方法。代码和数据集可在https://github.com/mengyu212/VIFNet_dehazing获取。
引用
@article{arxiv.2404.07790,
title = {VIFNet: An End-to-end Visible-Infrared Fusion Network for Image Dehazing},
author = {Meng Yu and Te Cui and Haoyang Lu and Yufeng Yue},
journal= {arXiv preprint arXiv:2404.07790},
year = {2024}
}