全分辨率框架下基于卷积神经网络的泛锐化
计算机视觉与模式识别
2022-04-05 v3 图像与视频处理
摘要
近年来，基于深度学习的泛锐化日益受到关注。迄今为止，研究主要集中于网络架构。然而，模型训练同样是重要问题。第一个问题是真值缺失，这在泛锐化中不可避免。这通常通过在降分辨率域中训练网络并以原始数据作为真值来解决，依赖于隐式的尺度不变性假设。然而，在全分辨率图像上结果往往令人失望，表明该不变性并不成立。另一个问题是训练数据稀缺，导致泛化能力有限，且在训练外测试图像上性能不佳。本文提出一种用于基于深度学习的泛锐化的全分辨率训练框架。该框架完全通用，可用于任何基于深度学习的泛锐化模型。训练在高分辨率域中进行，仅依赖原始数据，从而避免任何信息损失。为确保光谱与空间保真度，定义了合适的双分量损失。光谱分量强制泛锐化输出与低分辨率多光谱输入之间的一致性。空间分量在高分辨率下计算，最大化每个泛锐化波段与全色输入之间的局部相关性。测试时采用目标自适应操作模式，以有限的计算开销实现良好泛化。在 WorldView-3、WorldView-2 和 GeoEye-1 图像上进行的实验表明，用所提框架训练的方法在全分辨率数值指标和视觉质量方面均保证相当好的性能。
引用
@article{arxiv.2111.08334,
title = {Pansharpening by convolutional neural networks in the full resolution framework},
author = {Matteo Ciotola and Sergio Vitale and Antonio Mazza and Giovanni Poggi and Giuseppe Scarpa},
journal= {arXiv preprint arXiv:2111.08334},
year = {2022}
}