U2Net：一种用于图像融合的空谱集成双U型网络通用框架
图像与视频处理
2023-10-03 v2
摘要
在图像融合任务中，来自不同源的图像呈现出不同特性。因此，用单分支网络统一处理它们会导致特征提取不充分。此外，大量工作已表明，在像素级计算机视觉问题中，多尺度网络比单尺度模型更充分地捕获信息。考虑到这些因素，我们提出U2Net，一种用于图像融合的空谱集成双U形网络。U2Net利用空间U-Net与光谱U-Net来提取空间细节与光谱特征，从而实现对不同图像特征的判别性与层次化学习。与多数先前仅采用拼接来合并空间与光谱信息的工作不同，本文引入了一种称为S2Block的新型空谱集成结构，以逻辑且有效的方式组合来自不同源的特征图。我们在包括遥感全色锐化与高光谱图像超分辨率（HISR）在内的两项图像融合任务上进行了一系列实验。U2Net在定量与定性评价中均优于代表性的当前最优（SOTA）方法，证明了我们方法的优越性。代码见 https://github.com/PSRben/U2Net。
引用
@article{arxiv.2212.06466,
title = {U2Net: A General Framework with Spatial-Spectral-Integrated Double U-Net for Image Fusion},
author = {Siran Peng and Chenhao Guo and Xiao Wu and Liang-Jian Deng},
journal= {arXiv preprint arXiv:2212.06466},
year = {2023}
}
备注
Accepted by the 31st ACM International Conference on Multimedia (ACM MM '23)