WIFE-Fusion：面向多模态图像融合的小波感知频内-频间增强
计算机视觉与模式识别
2025-06-05 v1
摘要
多模态图像融合有效聚合了来自不同模态的信息，融合图像在视觉系统中起着至关重要的作用。然而，现有方法常常忽略频域特征探索和交互关系。在本文中，我们提出了基于频域分量交互的小波感知频内-频间增强融合（WIFE-Fusion），一种多模态图像融合框架。其核心创新包括：频内自注意力（IFSA），通过交互式自注意力机制利用固有的跨模态相关性和互补性来提取丰富的频域特征；以及频间交互（IFI），通过跨模态异质频域分量之间的组合交互来增强丰富特征并过滤潜在特征。这些过程实现了精确的源特征提取以及特征提取-聚合的统一建模。在五个数据集上针对三个多模态融合任务进行的广泛实验证明了 WIFE-Fusion 相对于当前专用和统一融合方法的优越性。我们的代码可在 https://github.com/Lmmh058/WIFE-Fusion 获取。
引用
@article{arxiv.2506.03555,
title = {WIFE-Fusion:Wavelet-aware Intra-inter Frequency Enhancement for Multi-model Image Fusion},
author = {Tianpei Zhang and Jufeng Zhao and Yiming Zhu and Guangmang Cui},
journal= {arXiv preprint arXiv:2506.03555},
year = {2025}
}