基于改进深度图像先验与残差重建的高光谱全色锐化
计算机视觉与模式识别
2021-07-07 v1 机器学习
图像与视频处理
摘要
高光谱全色锐化旨在将低分辨率高光谱图像（LR-HSI）与配准的全色图像（PAN）合成，以生成具有高光谱和高空间分辨率的增强HSI。最近提出的高光谱全色锐化方法利用深度卷积网络（ConvNets）取得了显著成果，通常包括三个步骤：（1）对LR-HSI上采样，（2）通过ConvNet预测残差图像，（3）将前两步的输出相加获得最终融合HSI。近期方法利用深度图像先验（DIP）对LR-HSI进行上采样，因其在不依赖大数据集学习的情况下保留空间和光谱信息的优异能力。然而，我们观察到，通过向传统的光谱域能量函数引入额外的空间域约束，可进一步提升上采样HSI的质量。我们将空间域约束定义为预测PAN图像与实际PAN图像之间的距离。为估计上采样HSI的PAN图像，我们还提出了一种可学习的光谱响应函数（SRF）。此外，我们注意到上采样HSI与参考HSI之间的残差图像主要由边缘信息和极精细结构组成。为准确估计精细信息，我们提出了一种新颖的过完备网络，称为HyperKite，其通过约束深层中感受野的增大来专注于学习高级特征。我们在三个HSI数据集上进行了实验，以证明我们的DIP-HyperKite优于最先进的锐化方法。我们的DIP-HyperKite及用于比较的方法的部署代码、预训练模型和最终融合输出将公开于 https://github.com/wgcban/DIP-HyperKite.git。
引用
@article{arxiv.2107.02630,
title = {Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction},
author = {Wele Gedara Chaminda Bandara and Jeya Maria Jose Valanarasu and Vishal M. Patel},
journal= {arXiv preprint arXiv:2107.02630},
year = {2021}
}