基于通道感知的类条件 GAN 解释
计算机视觉与模式识别
2022-03-22 v1
摘要
理解生成对抗网络（GANs）的机制有助于我们更好地将其用于下游应用。现有工作主要面向无条件模型的解释，而条件 GAN 如何学习渲染不同类别的图像则较少被探索。本工作通过研究类条件生成器如何统一多类合成来填补这一空白。为此，我们深入考察广泛使用的类条件批归一化（CCBN），并观察到给定不同类别嵌入时各特征通道的激活程度不同。为描述这一现象，我们提出通道感知（channel awareness），定量刻画单个通道对最终合成的贡献。在 ImageNet 上预训练的 BigGAN 模型上的大量评估与分析表明，仅有一部分通道主要负责特定类别的生成，相似类别（如猫和狗）通常关联某些相同通道，且一些通道在不同类别间共享信息。作为补充，我们的算法实现了条件 GAN 的若干新颖应用。具体而言，我们实现了（1）通过简单改变单个通道的灵活图像编辑，并做到（2）两个不同类别的和谐混合。我们进一步验证所提通道感知在（3）合成图像分割与（4）类别级合成性能评估方面具有良好潜力。
引用
@article{arxiv.2203.11173,
title = {Interpreting Class Conditional GANs with Channel Awareness},
author = {Yingqing He and Zhiyi Zhang and Jiapeng Zhu and Yujun Shen and Qifeng Chen},
journal= {arXiv preprint arXiv:2203.11173},
year = {2022}
}
备注
Project page: https://yingqinghe.github.io/interclassgan/