结合混合语义嵌入实现遥感图像合成中的语义可控性与多样性
计算机视觉与模式识别
2024-11-25 v1
摘要
在遥感语义图像合成领域，已取得显著进展。然而，现有方法仍面临在平衡语义可控性与多样性方面的巨大挑战。本文提出了一种用于可控且高效遥感图像合成的混合语义嵌入引导生成对抗网络（HySEGGAN）。具体而言，HySEGGAN利用单一数据源中的层次化信息。致力于特征描述，我们提出了一种混合语义嵌入方法，协调细粒度局部语义布局，以无需额外信息的方式刻画遥感物体的几何结构。此外，引入语义细化网络（SRN），并采用新颖的损失函数以确保细粒度语义反馈。该方法缓解了语义混淆，防止了几何模式坍缩。实验结果表明，该方法在语义可控性与多样性之间取得了优异的平衡。此外，HySEGGAN显著提升了合成图像的质量，并在多个数据集上作为数据增强技术实现了最新技术性能。
引用
@article{arxiv.2411.14781,
title = {Reconciling Semantic Controllability and Diversity for Remote Sensing Image Synthesis with Hybrid Semantic Embedding},
author = {Junde Liu and Danpei Zhao and Bo Yuan and Wentao Li and Tian Li},
journal= {arXiv preprint arXiv:2411.14781},
year = {2024}
}