基于CGAN的局部像素级标注卫星图像合成研究
计算机视觉与模式识别
2023-03-21 v1
摘要
条件生成对抗网络(CGANs)需要带有详细像素级标注的极大数据集才能生成高质量图像。遗憾的是,任何数量的像素标注缺失都可能显著影响结果,不仅是在局部,也会在已标注区域。据我们所知,此类挑战在GAN的广泛领域中从未被研究过。本文朝此方向迈出第一步,研究在给定部分标注图像时基于CGAN的卫星图像合成问题。我们首先定义了使用部分标注数据进行图像合成的问题,并讨论了我们面临此类挑战的一个场景。随后我们提出一种称为细节增强的有效解决方案以应对该问题。为此,我们测试了两种不同的增强细节以补偿缺失像素级标注的方法。第一种方法,我们用图像的Canny边缘对原图进行增强,利用CGAN补偿缺失标注。第二种方法则尝试为所有缺失标注的像素赋予颜色。最终,训练一个不同的CGAN将新特征图像转换为最终输出。
引用
@article{arxiv.2303.11175,
title = {Towards CGAN-based Satellite Image Synthesis with Partial Pixel-Wise Annotation},
author = {Hadi Mansourifar and Steven J. Simske},
journal= {arXiv preprint arXiv:2303.11175},
year = {2023}
}