DAF-Net：一种用于红外和可见图像融合的双分支特征分解融合网络
计算机视觉与模式识别
2024-09-19 v1 机器学习
摘要
红外和可见图像融合旨在综合两类模态的互补信息，以提供更全面的场景理解。然而，由于两种模态之间的差异巨大，在融合过程中保持关键特征仍是一个挑战。为此，本文提出一种基于双分支特征分解融合网络 (DAF-Net) 且带有域自适应特性的方案，引入多核最大均值差异 (MK-MMD) 于基础编码器中，并设计一种适用于红外和可见图像融合的混合核函数。基于 Restormer 网络构建的基础编码器捕获全局结构信息，而基于可逆神经网络 (INN) 的细节编码器专注于提取细节纹理信息。通过融入 MK-MMD，DAF-Net 能有效对齐红外和可见图像的潜在特征空间，从而提升融合图像的质量。实验结果表明，所提方法在多个数据集上超越现有技术，显著增强了视觉质量和融合性能。相关 Python 代码已公开于 https://github.com/xujian000/DAF-Net。
引用
@article{arxiv.2409.11642,
title = {DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion},
author = {Jian Xu and Xin He},
journal= {arXiv preprint arXiv:2409.11642},
year = {2024}
}
备注
5pages,4figures