遥感图像生成中 GAN 的奇异特性与反事实解释
计算机视觉与模式识别
2024-05-15 v3 图像与视频处理
摘要
生成对抗网络（GANs）在自然图像领域已取得显著进展。然而，当将 GAN 应用于遥感（RS）图像生成任务时，观察到了一种异常现象：相较于自然图像生成，GAN 模型对 RS 图像生成的训练数据规模更为敏感。换言之，RS 图像的生成质量会随着训练类别数量或每类样本数量而发生显著变化。本文首先通过两类玩具实验分析了该现象，并得出结论：GAN 模型中包含的特征信息量随训练数据的减少而降低。随后，我们建立了数据生成过程的结构因果模型（SCM），并将生成数据解释为反事实。基于该 SCM，我们从理论上证明了生成图像的质量与特征信息量呈正相关。这为丰富 GAN 模型在训练期间学到的特征信息提供了思路。据此，我们提出了两种创新性调整方案，即均匀正则化（UR）和熵正则化（ER），分别从分布层面和样本层面增加 GAN 模型学到的信息。我们从理论和实验上证明了所提方法的有效性与通用性。在三个 RS 数据集和两个自然数据集上的大量实验表明，我们的方法在 RS 图像生成任务上优于成熟的模型。源代码见 https://github.com/rootSue/Causal-RSGAN。
引用
@article{arxiv.2303.05240,
title = {Intriguing Property and Counterfactual Explanation of GAN for Remote Sensing Image Generation},
author = {Xingzhe Su and Wenwen Qiang and Jie Hu and Fengge Wu and Changwen Zheng and Fuchun Sun},
journal= {arXiv preprint arXiv:2303.05240},
year = {2024}
}