变分零样本多光谱图像复合
图像与视频处理
2024-11-08 v2 计算机视觉与模式识别
摘要
图像复合旨在通过融合低空间分辨率多光谱图像 (LRMS) 和钠光图像 (PAN) 生成高空间分辨率多光谱图像 (HRMS)。此任务最具挑战性的方面在于仅可获得待融合的 LRMS 和 PAN，而现有基于深度学习的方法因依赖大量训练对偶而不适用。传统基于变分优化 (VO) 的方法更适用于解决此问题。它们通过仔细设计用于融合的显式规则以及优化问题的正则化项，基于研究者对图像关系和图像结构的发现。与以往的 VO 方法不同，本文通过参数化项而非人工设计项来探索此类复杂关系。具体而言，我们提出一种零样本图像复合方法，通过引入神经网络到优化目标中。该网络估计 HRMS 的一种表示成分，主要描述 HRMS 与 PAN 之间的关系。如此一来，网络实现了类似深度图像先验的目标，即通过其内在结构隐式调节 HRMS 与 PAN 图像之间的关系。我们通过迭代更新网络参数和期望的 HRMS 图像来直接最小化此优化目标。在 various benchmark 数据集上进行的广泛实验表明，我们提出的方法可优于其他 state-of-the-art 方法。代码已公开于 https://github.com/xyrui/PSDip。
引用
@article{arxiv.2407.06633,
title = {Variational Zero-shot Multispectral Pansharpening},
author = {Xiangyu Rui and Xiangyong Cao and Yining Li and Deyu Meng},
journal= {arXiv preprint arXiv:2407.06633},
year = {2024}
}