用于多光谱与高光谱图像融合的隐式神经特征融合函数
计算机视觉与模式识别
2023-10-31 v2
摘要
多光谱与高光谱图像融合（MHIF）是一项实用任务，旨在融合同一场景的高分辨率多光谱图像（HR-MSI）与低分辨率高光谱图像（LR-HSI）以获得高分辨率高光谱图像（HR-HSI）。得益于强大的归纳偏置能力，基于 CNN 的方法在 MHIF 任务中取得了巨大成功。然而，它们缺乏一定的可解释性，且需要堆叠卷积结构以提升性能。近来，隐式神经表示（INR）因具备局部插值样本并利用像素与坐标等多模态内容的能力，在 2D 任务中取得了良好性能与可解释性。尽管基于 INR 的方法展现出前景，它们需要额外构造高频信息（例如位置编码）。在本文中，受先前 MHIF 任务工作的启发，我们意识到 HR-MSI 可作为高频细节辅助输入，由此提出一种新颖的基于 INR 的高光谱融合函数，名为隐式神经特征融合函数（INF）。作为一个精巧的结构，它解决了 MHIF 任务并弥补了基于 INR 方法的不足。具体而言，我们的 INF 设计了双高频融合（DHFF）结构，从 HR-MSI 与 LR-HSI 两次获取高频信息，随后将其与坐标信息巧妙融合。此外，所提 INF 引入了一种名为基于余弦相似度的 INR（INR-CS）的无参数方法，利用余弦相似度通过特征向量生成局部权重。基于 INF，我们构建了隐式神经融合网络（INFN），在两个公开数据集（即 CAVE 与 Harvard）的 MHIF 任务上取得了当前最优性能。代码将很快发布于 GitHub。
引用
@article{arxiv.2307.07288,
title = {Implicit Neural Feature Fusion Function for Multispectral and Hyperspectral Image Fusion},
author = {ShangQi Deng and RuoCheng Wu and Liang-Jian Deng and Ran Ran and Gemine Vivone},
journal= {arXiv preprint arXiv:2307.07288},
year = {2023}
}