CDDFuse：用于多模态图像融合的相关性驱动双分支特征分解
计算机视觉与模式识别
2023-04-11 v2
摘要
多模态（MM）图像融合旨在生成保留不同模态优势（例如功能高亮与细节纹理）的融合图像。为应对跨模态特征建模与分解所需模态特定及模态共享特征的挑战，我们提出了一种新颖的相关性驱动特征分解融合（CDDFuse）网络。首先，CDDFuse 使用 Restormer 块提取跨模态浅层特征。随后我们引入一种双分支 Transformer-CNN 特征提取器，其中包含利用长程注意力的 Lite Transformer（LT）块来处理低频全局特征，以及专注于提取高频局部信息的可逆神经网络（INN）块。进一步提出一种相关性驱动损失，以基于嵌入信息使低频特征相关而高频特征不相关。然后，基于 LT 的全局融合层与基于 INN 的局部融合层输出融合图像。大量实验表明，我们的 CDDFuse 在包括红外-可见光图像融合与医学图像融合的多个融合任务中取得了有前景的结果。我们还展示了 CDDFuse 能在统一基准中提升下游红外-可见光语义分割与物体检测的性能。代码可在 https://github.com/Zhaozixiang1228/MMIF-CDDFuse 获取。
引用
@article{arxiv.2211.14461,
title = {CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion},
author = {Zixiang Zhao and Haowen Bai and Jiangshe Zhang and Yulun Zhang and Shuang Xu and Zudi Lin and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2211.14461},
year = {2023}
}
备注
Accepted by CVPR 2023