利用多光谱条件生成对抗网络在卫星影像上去除薄膜状云
计算机视觉与模式识别
2017-10-16 v1
摘要
在本文中，我们提出了一种通过将条件生成对抗网络从 RGB 图像扩展到多光谱图像，从而从可见光 RGB 卫星图像中去云的方法。卫星图像已被广泛用于各种目的，例如自然环境监测（污染、森林或河流）、交通改善和灾害的快速应急响应。然而，云层造成的遮挡使得用可见光相机监测地面情况变得不稳定。引入了由较长波长捕获的图像以减少云层的影响。合成孔径雷达 (SAR) 就是一个这样的例子，即使在有云的情况下也能提高能见度。另一方面，空间分辨率随着波长的增加而降低。此外，长波长捕获的图像在外观上与可见光捕获的图像有很大不同。因此，我们提出了一种网络，可以去除云层并从作为输入的多光谱图像生成可见光图像。这是通过扩展 cGANs 的输入通道以兼容多光谱图像来实现的。使用在 ground truth 上合成的带云图像作为输入，训练网络输出接近 ground truth 的图像。在可用数据集中，森林或海洋图像的比例非常高，如果从原始数据集中均匀采样，将在训练数据集中引入偏差。因此，我们利用 t-分布随机邻域嵌入 来改善训练数据集中的偏差问题。最后，我们在四波段图像数据集上验证了所提出网络的可行性，该数据集包括三个可见光波段和一个近红外 (NIR) 波段。
引用
@article{arxiv.1710.04835,
title = {Filmy Cloud Removal on Satellite Imagery with Multispectral Conditional Generative Adversarial Nets},
author = {Kenji Enomoto and Ken Sakurada and Weimin Wang and Hiroshi Fukui and Masashi Matsuoka and Ryosuke Nakamura and Nobuo Kawaguchi},
journal= {arXiv preprint arXiv:1710.04835},
year = {2017}
}