基于无监督深度学习的谱与空间保真联合增强全色锐化方法
图像与视频处理
2023-07-28 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
近年来，深度学习在多分辨率图像的全色锐化（pansharpening）中占据了主导地位。鉴于缺乏地面真实数据，大多数基于深度学习的方法在降分辨率域中进行监督训练。然而，在缩小尺寸图像上训练的模型往往在高分辨率目标图像上表现不佳。因此，若干研究小组正转向全分辨率域中的无监督训练，通过定义适当的损失函数和训练范式来实现。在此背景下，我们近期提出了一种可应用于许多现有架构的全分辨率训练框架。本文中，我们提出一种新的基于深度学习的全色锐化模型，充分挖掘该方法的潜力并提供前沿性能。相较于先前工作，除架构上的改进（如残差注意力模块的使用）外，所提模型还具有一种新颖的损失函数，可联合提升全色锐化数据的谱质量与空间质量。此外，得益于一种新的微调策略，它改善了推理时对目标图像的适应。在大量不同测试图像上于挑战性场景中进行的实验表明，所提方法在数值结果与视觉输出方面均优于当前最优方法。代码已在线发布于 https://github.com/matciotola/Lambda-PNN。
引用
@article{arxiv.2307.14403,
title = {Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced Spectral and Spatial Fidelity},
author = {Matteo Ciotola and Giovanni Poggi and Giuseppe Scarpa},
journal= {arXiv preprint arXiv:2307.14403},
year = {2023}
}