用于多光谱与高光谱图像融合的傅里叶增强隐式神经融合网络
计算机视觉与模式识别
2024-04-24 v1
摘要
近年来，隐式神经表示（Implicit Neural Representations, INR）在多个视觉相关领域取得了显著进展，为多光谱与高光谱图像融合（Multispectral and Hyperspectral Image Fusion, MHIF）任务提供了一种新方案。然而，INR容易丢失高频信息，且受限于全局感知能力的缺乏。为了解决这些问题，本文专门针对MHIF任务引入了一种傅里叶增强隐式神经融合网络（Fourier-enhanced Implicit Neural Fusion Network, FeINFN），针对以下现象：HR-HSI潜在编码与LR-HSI的傅里叶振幅非常相似；然而，它们的相位表现出不同的模式。在FeINFN中，我们创新性地提出了一种空间与频率隐式融合函数（Spatial and Frequency Implicit Fusion Function, Spa-Fre IFF），帮助INR捕获高频信息并扩大感受野。此外，还发明了一种采用复Gabor小波激活函数的新型解码器，称为空间-频率交互解码器（Spatial-Frequency Interactive Decoder, SFID），以增强INR特征的交互。特别地，我们进一步从理论上证明了Gabor小波激活具有时频紧致性，这有利于在解码器中学习最优带宽。在两个基准MHIF数据集上的实验从视觉和定量两方面验证了所提方法的SOTA性能。同时，消融实验也证明了上述贡献。代码将在可能被接受后发布于匿名GitHub (https://anonymous.4open.science/r/FeINFN-15C9/)。
引用
@article{arxiv.2404.15174,
title = {Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion},
author = {Yu-Jie Liang and Zihan Cao and Liang-Jian Deng and Xiao Wu},
journal= {arXiv preprint arXiv:2404.15174},
year = {2024}
}