TSGAN:用于基于光学的SAR时间偏移的光学到SAR双条件GAN
计算机视觉与模式识别
2024-01-05 v2 图像与视频处理
摘要
与已被充分研究的 SAR 到光学转换领域不同,本研究探索了较少被研究的光学到 SAR 转换领域,由于该转换的不适定性,这是一个极具挑战性的领域。其复杂性在于,基于 SAR 的观测几何,单一光学数据可以有多种 SAR 表示。我们提出了一种称为 SAR 时间偏移的新方法,该方法输入来自目标时间戳的光学数据,以及来自不同时间点但具有与预期 SAR 数据一致观测几何的 SAR 数据,两者均辅以间隔期间光学数据的变化图。该模型基于在光学数据中观察到的变化修改 SAR 数据,以生成目标时间戳的 SAR 数据。我们的模型是一种双条件生成对抗网络(GAN),命名为时间偏移 GAN(TSGAN),在生成器和判别器中均引入了孪生编码器。为防止模型在输入 SAR 数据上过拟合,我们采用了变化加权损失函数。我们的方法超越了传统转换方法,消除了 GAN 的虚构现象,特别是在未变化区域,从而在这些区域获得了更高的 SSIM 和 PSNR。此外,对 Pix2Pix 架构的修改和注意力机制的引入增强了模型在数据所有区域上的性能。本研究为利用遗留光学数据集(最丰富且最长期的地球影像数据源)铺平了道路,将其用途扩展至 SAR 领域和时间分析。为促进进一步研究,我们提供了研究中使用的代码、数据集,以及为新感兴趣区域生成配对 SAR-光学数据集的框架。这些资源可在 github.com/moienr/TemporalGAN 获取。
引用
@article{arxiv.2401.00440,
title = {TSGAN: An Optical-to-SAR Dual Conditional GAN for Optical based SAR Temporal Shifting},
author = {Moien Rangzan and Sara Attarchi and Richard Gloaguen and Seyed Kazem Alavipanah},
journal= {arXiv preprint arXiv:2401.00440},
year = {2024}
}
备注
Comments: Added acknowledgments and corrected a typo. No changes to the main content