物理驱动的深度 Retinex 融合用于自适应红外与可见光图像融合
计算机视觉与模式识别
2023-03-22 v4 图像与视频处理
摘要
卷积神经网络已成为图像融合与超分辨率的著名工具。然而其优异性能离不开大规模固定配对数据集；且这些高要求的真值数据在融合任务中往往难以轻易获取。本研究指出，生成网络的结构捕获了大量图像特征先验，这些先验足以仅利用低分辨率输入重建高质量融合超分辨率结果。据此，我们提出了一种新颖的自监督、无数据集的自适应红外（IR）与可见光（VIS）图像超分辨率融合方法，称为深度 Retinex 融合（DRF）。DRF 的核心思想是先利用我们设计的生成网络 ZipperNet、LightingNet 和 AdjustingNet 生成从物理模型解耦的组件先验，随后基于 Retinex 理论通过自适应融合损失函数组合网络捕获的这些先验，最终重建超分辨率融合结果。此外，为验证所提 DRF 的有效性，我们使用不同测试集与其他最先进方法进行了定性与定量对比实验。结果表明，相较于大规模数据集训练的方法，无任何数据集的 DRF 取得了最佳超分辨率融合性能；更重要的是，DRF 能自适应平衡红外与可见光信息并具备良好抗噪性。DRF 代码开源见 https://github.com/GuYuanjie/Deep-Retinex-fusion。
引用
@article{arxiv.2112.02869,
title = {Physics Driven Deep Retinex Fusion for Adaptive Infrared and Visible Image Fusion},
author = {Yuanjie Gu and Zhibo Xiao and Yinghan Guan and Haoran Dai and Cheng Liu and Liang Xue and Shouyu Wang},
journal= {arXiv preprint arXiv:2112.02869},
year = {2023}
}
备注
20 pages, 9 figures