基于潜扩散模型的合成雷达到光学图像翻译及其在地球观测中的应用
计算机视觉与模式识别
2025-04-16 v1 图像与视频处理
摘要
地球观测卫星如 Sentinel-1 (S1) 和 Sentinel-2 (S2) 提供互补的遥感数据，但由于云层覆盖或数据缺失，S2 图像常常不可用。为此，我们提出一种基于扩散模型 (DM) 的方法，用于 SAR 到 RGB 翻译，通过合成光学图像从 SAR 输入生成。我们探索了三种不同的设置：两种使用标准扩散（一种无条件类条件，一种带条件类），一种使用冷扩散，将 S2 与 S1 混合后去除 SAR 信号。我们在下游任务中评估了生成图像，包括地表覆盖分类和云去除。尽管生成图像可能无法完美复制真实的 S2 数据，但仍提供了有价值的信息。我们的结果表明，类条件可提高分类准确率，而云去除性能仍具竞争力，尽管我们的做法未针对云去除进行优化。有趣的是，尽管冷扩散方案在感知质量方面表现较差，但在地表覆盖分类方面表现良好，这表明传统的定性评估指标可能无法完全反映生成图像的实际实用价值。我们的发现凸显了扩散模型在遥感应用中进行 SAR 到 RGB 翻译的潜力，尤其是在 RGB 图像不可用的情况下。
引用
@article{arxiv.2504.11154,
title = {SAR-to-RGB Translation with Latent Diffusion for Earth Observation},
author = {Kaan Aydin and Joelle Hanna and Damian Borth},
journal= {arXiv preprint arXiv:2504.11154},
year = {2025}
}
备注
10 pages, 3 figures