CrossDiff：通过交叉预测扩散模型探索全色锐化的自监督表示
计算机视觉与模式识别
2024-01-17 v2 图像与视频处理
摘要
全色 (PAN) 图像与相应多光谱 (MS) 图像的融合也称为全色锐化，旨在结合 PAN 丰富的空间细节和 MS 的光谱信息。由于缺乏高分辨率 MS 图像，现有的基于深度学习的方法通常遵循在降分辨率下训练、在降分辨率和全分辨率下测试的范式。当以原始 MS 和 PAN 图像作为输入时，由于尺度变化，它们总是得到次优结果。在本文中，我们提出通过设计一个名为 CrossDiff 的交叉预测扩散模型来探索全色锐化的自监督表示。它具有两阶段训练。在第一阶段，我们引入一个交叉预测前置任务，基于条件 DDPM 预训练 UNet 结构；而在第二阶段，UNet 的编码器被冻结，以直接从 PAN 和 MS 中提取空间和光谱特征，仅训练融合头以适应全色锐化任务。大量实验表明，与最先进的监督和无监督方法相比，所提出模型的有效性和优越性。此外，交叉传感器实验也验证了所提出的自监督表示学习器对其他卫星数据集的泛化能力。我们将发布代码以保证可复现性。
引用
@article{arxiv.2401.05153,
title = {CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model},
author = {Yinghui Xing and Litao Qu and Shizhou Zhang and Kai Zhang and Yanning Zhang},
journal= {arXiv preprint arXiv:2401.05153},
year = {2024}
}