基于残差先验的频率感知网络用于图像融合
计算机视觉与模式识别
2025-07-25 v2 机器学习
多媒体
摘要
图像融合旨在整合跨模态的互补信息，以生成高质量的融合图像，从而增强高层次视觉任务的性能。虽然全局空间建模机制显示出有前景的结果，但在空间域中构建长程特征依赖会导致巨大的计算成本。此外，缺乏真实数据会加剧有效捕获互补特征的难度。为解决这些挑战，我们提出了一种残差先验驱动的频率感知网络，称为RPFNet。具体而言，RPFNet采用双分支特征提取框架：残差先验模块（RPM）从残差图中提取模态特定的差异信息，从而为融合提供互补先验；频率域融合模块（FDFM）通过频率域卷积实现高效的全局特征建模和集成。此外，交叉推广模块（CPM）通过双向特征交互来增强局部细节与全局结构的协同感知。在训练过程中，我们引入辅助解码器和显著性结构损失，以强化模型对模态特定差异的敏感性。进一步地，结合自适应权重的频率对比损失和SSIM损失有效约束了解的空间，促进了局部细节和全局特征的联合捕获，同时确保保留互补信息。广泛的实验验证了RPFNet的融合性能，该方法有效整合了判别特征，增强了纹理细节和显著性对象，并可有效促进高层次视觉任务的部署。
引用
@article{arxiv.2507.06735,
title = {Residual Prior-driven Frequency-aware Network for Image Fusion},
author = {Guan Zheng and Xue Wang and Wenhua Qian and Peng Liu and Runzhuo Ma},
journal= {arXiv preprint arXiv:2507.06735},
year = {2025}
}