SSDiff：用于遥感图像变色备份的空间-频谱集成扩散模型
计算机视觉与模式识别
2024-04-18 v1 图像与视频处理
摘要
变色备份是一种重要的图像融合技术，用于合并遥感图像的空间内容和光谱特征，以生成高分辨率多光谱图像。最近，去噪扩散概率模型逐渐应用于视觉任务，通过低秩适应（LoRA）增强可控图像生成。在本文中，我们引入一种用于遥感图像变色备份任务的空间-频谱集成扩散模型，称为 SSDiff，该模型从子空间分解的角度考虑变色备份过程作为空间和光谱成分的融合过程。具体而言，SSDiff 使用空间分支和光谱分支分别学习空间细节和光谱特征，然后采用设计的交替投影融合模块（APFM）完成融合。此外，我们提出了频率调制分支间模块（FMIM），用于在分支之间调制频率分布。SSDiff 的两个组件相对于 APFM 表现良好，可利用类似 LoRA 的分支级替代微调方法。它细化了 SSDiff 以更充分地捕获具有区分性特征的组件。最后，在四个常用数据集（即 WorldView-3、WorldView-2、GaoFen-2 和 QuickBird）上的大量实验表明，SSDiff 在视觉和量化方面都优于基线。代码将在可能接受后公开源代码。
引用
@article{arxiv.2404.11537,
title = {SSDiff: Spatial-spectral Integrated Diffusion Model for Remote Sensing Pansharpening},
author = {Yu Zhong and Xiao Wu and Liang-Jian Deng and Zihan Cao},
journal= {arXiv preprint arXiv:2404.11537},
year = {2024}
}