面向高分辨率去云的多模态多分辨率数据融合：一种新基线方法与基准数据集
计算机视觉与模式识别
2024-10-14 v2
摘要
去云是遥感中一个重要且具有挑战性的问题，近年来该领域取得了显著进展。然而，两个主要问题仍阻碍着去云的发展：现有数据集缺乏高分辨率影像，以及缺乏对生成结构语义合理性的评估。本文引入 M3R-CR，一个用于高分辨率去云、具有多模态多分辨率数据融合的基准数据集。借助该数据集，我们通过融合多模态与多分辨率信息来考虑高分辨率光学遥感影像中的去云问题。在此背景下，我们必须考虑由多分辨率特性引起的对齐误差，以及由于固有成像机制差异等因素导致的高分辨率影像中更为明显的错位问题。现有的基于多模态数据融合的方法假设图像对在像素级精确对齐，因此不适用于该问题。为此，我们设计了一个名为 Align-CR 的新基线方法，用于执行低分辨率 SAR 影像引导的高分辨率光学影像去云。它在重建过程中逐步扭曲并融合多模态多分辨率数据的特征，有效缓解了与错位相关的担忧。在实验中，我们通过图像重建指标分析视觉愉悦纹理的质量来评估去云性能，并进一步利用一个成熟的语义分割任务来分析语义合理结构的生成。所提出的 Align-CR 方法在两方面均优于其他基线方法。
引用
@article{arxiv.2301.03432,
title = {Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark},
author = {Fang Xu and Yilei Shi and Patrick Ebel and Wen Yang and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2301.03432},
year = {2024}
}