借助空间细节记忆学习全色锐化
计算机视觉与模式识别
2023-08-09 v3 多媒体
图像与视频处理
摘要
全色锐化作为遥感系统中最常用的技术之一，旨在将全色图像的空间细节注入多光谱图像（MS）以获得高分辨率多光谱图像。由于深度学习凭借强大的拟合能力与高效的特征提取受到广泛关注，已有多种全色锐化方法提出并取得了显著性能。然而，当前全色锐化方法通常需要成对的 PAN 与 MS 图像作为输入，这限制了其在某些场景下的使用。为解决该问题，本文观察到 PAN 图像的空间细节主要为高频线索，即边缘反映了输入 PAN 图像的轮廓。这促使我们开发一种与 PAN 无关的表示来存储一些基础边缘，从而通过它们组合出对应 PAN 图像的轮廓。因此，在推理时我们仅利用 MS 图像即可执行全色锐化任务。为此，我们采用基于记忆的网络在训练阶段提取并记忆空间细节，并在推理时替代从 PAN 图像获取空间信息的过程，称为基于记忆的空间细节网络（MSDN）。最后，我们将提出的 MSDN 模块集成到现有基于深度学习的全色锐化方法中，实现端到端全色锐化网络。通过在 Gaofen1 和 WorldView-4 卫星上的大量实验，我们验证了所提方法在无 PAN 图像情况下构建了良好的空间细节并取得了最佳性能。代码见 https://github.com/Zhao-Tian-yi/Learning-to-Pan-sharpening-with-Memories-of-Spatial-Details.git。
引用
@article{arxiv.2306.16181,
title = {Learning to Pan-sharpening with Memories of Spatial Details},
author = {Maoxun Yuan and Tianyi Zhao and Bo Li and Xingxing Wei},
journal= {arXiv preprint arXiv:2306.16181},
year = {2023}
}