生成对抗网络中的线性语义
计算机视觉与模式识别
2021-04-02 v1 人工智能
摘要
生成对抗网络（GANs）能够生成高质量图像，但显式指定合成图像的语义仍然困难。在本工作中，我们旨在更好地理解 GAN 的语义表示，从而在 GAN 的生成过程中实现语义控制。有趣的是，我们发现训练良好的 GAN 以其内部特征图以一种惊人简单的方式编码图像语义：特征图的线性变换足以提取生成图像的语义。为验证这一简洁性，我们在多种 GAN 和数据集上进行了大量实验；且得益于这一简洁性，我们能够从少量（如 8 张）标注图像中为训练好的 GAN 学习一个语义分割模型。最后但同样重要的是，利用我们的发现，我们提出了两种少样本图像编辑方法，即语义条件采样和语义图像编辑。给定训练好的 GAN 和少至八份语义标注，用户便能生成服从用户提供的语义布局的多样图像，并控制合成图像的语义。我们已公开代码。
引用
@article{arxiv.2104.00487,
title = {Linear Semantics in Generative Adversarial Networks},
author = {Jianjin Xu and Changxi Zheng},
journal= {arXiv preprint arXiv:2104.00487},
year = {2021}
}