从土地覆盖图与辅助栅格数据合成光学与 SAR 影像
计算机视觉与模式识别
2021-05-26 v2
摘要
我们利用生成对抗网络（GANs）从土地覆盖图与辅助栅格数据合成光学 RGB 与合成孔径雷达（SAR）遥感图像。在遥感中，许多数据类型（如数字高程模型（DEMs）或降水图）常未反映在土地覆盖图中，但仍影响图像内容与结构。在合成过程中纳入此类数据可提升生成图像的质量，并对其特征施加更多控制。空间自适应归一化层融合两种输入，并应用于由编码器与解码器组成的完整生成器架构，以充分利用辅助栅格数据中的信息内容。我们的方法在采用相应数据集训练时，成功合成了中分辨率（10 m）与高分辨率（1 m）图像。我们使用预训练的 U-Net 分割模型，通过平均交并比（mIoUs）、像素精度与 Fréchet inception 距离（FIDs）展示了土地覆盖图与辅助信息数据融合的优势。精选图像示例说明了信息融合如何避免合成图像中的歧义。通过轻微编辑输入，我们的方法可用于合成真实变化，即抬升水位。源代码见 https://github.com/gbaier/rs_img_synth，我们发布的新建高分辨率数据集见 https://ieee-dataport.org/open-access/geonrw。
引用
@article{arxiv.2011.11314,
title = {Synthesizing Optical and SAR Imagery From Land Cover Maps and Auxiliary Raster Data},
author = {Gerald Baier and Antonin Deschemps and Michael Schmitt and Naoto Yokoya},
journal= {arXiv preprint arXiv:2011.11314},
year = {2021}
}