IDF-CR：用于遥感图像分而治之去云的迭代扩散过程
计算机视觉与模式识别
2024-03-19 v1 图像与视频处理
摘要
深度学习技术已证明了其在去除光学遥感图像云层覆盖方面的有效性。卷积神经网络 (CNN) 在去云任务中占据主导地位。然而，受限于卷积操作的固有局限性，CNN 只能处理一小部分云遮挡。近年来，扩散模型凭借其强大的生成能力，在图像生成和重建方面达到了最先进 (SOTA) 水平。受扩散模型快速发展的启发，我们首次提出了一种用于去云的迭代扩散过程 (IDF-CR)，它表现出强大的生成能力，以实现组件分而治之的去云。IDF-CR 由一个像素空间去云模块 (Pixel-CR) 和一个潜在空间迭代噪声扩散网络 (IND) 组成。具体而言，IDF-CR 分为处理像素空间和潜在空间的两阶段模型。该两阶段模型促进了从初步去云到精细细节优化的战略性过渡。在像素空间阶段，Pixel-CR 启动对有云图像的处理，产生次优的去云结果，从而为扩散模型提供先验去云知识。在潜在空间阶段，扩散模型将低质量的去云结果转换为高质量的清晰输出。我们通过实现 ControlNet 来改进 Stable Diffusion。此外，引入了无监督迭代噪声优化 (INR) 模块用于扩散模型，以优化预测噪声的分布，从而增强高级细节恢复。我们的模型与其他 SOTA 方法相比表现最佳，包括在光学遥感数据集上的图像重建和光学遥感去云。
引用
@article{arxiv.2403.11870,
title = {IDF-CR: Iterative Diffusion Process for Divide-and-Conquer Cloud Removal in Remote-sensing Images},
author = {Meilin Wang and Yexing Song and Pengxu Wei and Xiaoyu Xian and Yukai Shi and Liang Lin},
journal= {arXiv preprint arXiv:2403.11870},
year = {2024}
}
备注
Accepted by IEEE TGRS, we first present an iterative diffusion process for cloud removal, the code is available at: https://github.com/SongYxing/IDF-CR