基于3D VolumeNet与2.5D纹理转移的高效高精度高光谱全色锐化
图像与视频处理
2022-04-12 v1 计算机视觉与模式识别
摘要
近年来，卷积神经网络(CNN)在高光谱全色锐化的单图像超分辨率中取得了有前景的结果。然而，以更少的参数和更短的预测时间增强CNN的表征能力是一项具有挑战性且关键的任务。本文提出一种新颖的多光谱图像融合方法，结合先前提出的3D CNN模型VolumeNet与使用其他模态高分辨率(HR)图像的2.5D纹理转移方法。由于多光谱(MS)图像由若干波段组成且每个波段为一张2D图像切片，MS图像可视为3D数据。因此，我们使用先前提出的VolumeNet来融合HR全色(PAN)图像与双三次插值后的MS图像。由于所提出的3D VolumeNet能够通过扩展模型的感受野有效提升精度，且因其轻量结构，我们无需购买大量遥感图像用于训练即可取得优于现有方法的性能。此外，VolumeNet能尽可能恢复HR MR图像中丢失的高频信息，降低后续步骤——2.5D纹理转移的特征提取难度。作为最新技术之一，基于深度学习的纹理转移已被证明能高效且有效地改善图像重建的视觉性能与质量评价指标。不同于RGB图像的纹理转移处理，我们使用HR PAN图像作为参考图像并对MS图像各频段执行纹理转移，称之为2.5D纹理转移。实验结果表明，所提方法在客观精度评估、方法效率与视觉主观评价方面均优于现有方法。
引用
@article{arxiv.2203.03951,
title = {Efficient and Accurate Hyperspectral Pansharpening Using 3D VolumeNet and 2.5D Texture Transfer},
author = {Yinao Li and Yutaro Iwamoto and Ryousuke Nakamura and Lanfen Lin and Ruofeng Tong and Yen-Wei Chen},
journal= {arXiv preprint arXiv:2203.03951},
year = {2022}
}