DePF：一种基于分解池化的红外与可见光图像融合新方法
计算机视觉与模式识别
2023-07-06 v2
摘要
红外与可见光图像融合旨在生成同时包含显著特征与丰富纹理细节的合成图像，可用于提升下游任务性能。然而，现有融合方法存在纹理丢失与边缘信息不足的问题，导致融合结果欠佳。同时，直接的上采样算子难以很好地保留多尺度特征中的源信息。为解决这些问题，本文提出一种基于分解池化（de-pooling）方式的新型融合网络，称为DePF。具体而言，设计了一种基于de-pooling的编码器，用于同时提取源图像的多尺度图像特征与细节特征。此外，采用空间注意力模型聚合这些显著特征。之后，融合特征由解码器重建，其中上采样算子被de-pooling的逆操作所替代。与常见的最大池化技术不同，经过de-pooling层后的图像特征能够保留丰富的细节信息，有利于融合过程。由此，在重建阶段保留了丰富的纹理信息与多尺度信息。实验结果表明，所提方法在多个图像融合基准上优于现有最优方法。
引用
@article{arxiv.2305.17376,
title = {DePF: A Novel Fusion Approach based on Decomposition Pooling for Infrared and Visible Images},
author = {Hui Li and Yongbiao Xiao and Chunyang Cheng and Zhongwei Shen and Xiaoning Song},
journal= {arXiv preprint arXiv:2305.17376},
year = {2023}
}