从判别器视角解释星系去混叠 GAN
计算机视觉与模式识别
2020-01-20 v1 图像与视频处理
摘要
生成对抗网络（GANs）以其无监督学习能力而著称。天文学领域近期的一个成功应用是通过分支 GAN 模型对两张重叠的星系图像进行去混叠。然而，理解网络如何工作仍然是一个重大挑战，对非专业用户而言尤为困难。本研究关注网络主要组件之一、至关重要但常被忽视的判别器（Discriminator）的行为。具体而言，我们增强了逐层相关性传播（LRP）方案以生成基于热图的可视化。我们称此技术为 Polarized-LRP，它由两部分组成，即真实图像的积极贡献热图和生成图像的消极贡献热图。使用 Galaxy Zoo 数据集，我们证明了我们的方法清晰地揭示了判别器在区分生成星系图像与真实图像时的关注区域。为联系判别器对生成器的影响，我们可视化了生成器在训练过程中的渐变。我们在其中取得了一个有趣的结果，即检测到一个原本会被隐藏的有问题的数据增强过程。我们发现所提方法可作为深入理解 GAN 模型的有用视觉分析工具。
引用
@article{arxiv.2001.06151,
title = {Interpreting Galaxy Deblender GAN from the Discriminator's Perspective},
author = {Heyi Li and Yuewei Lin and Klaus Mueller and Wei Xu},
journal= {arXiv preprint arXiv:2001.06151},
year = {2020}
}
备注
5 pages, 4 figures