利用潜空间回归分析与利用 GAN 中的组合性
计算机视觉与模式识别
2021-06-07 v2 机器学习
摘要
近年来,生成对抗网络(Generative Adversarial Networks, GANs)在研究与公众认知中已无处不在,但 GAN 如何将非结构化潜码转换为高质量输出仍是一个开放问题。本工作中,我们将潜空间回归作为探针,以理解 GAN 的组合性质。我们发现,将回归器与预训练生成器结合提供了强大的图像先验,使我们在推理时能从随机图像块的拼贴中创建具有全局一致性的合成图像。为比较不同生成器的组合性质,我们度量了不真实输入的重建与再生样本图像质量之间的权衡。我们发现,与直接在潜空间编辑相比,回归方法能实现对单个图像块更局部的编辑,并进行了实验来量化这种独立性效应。我们的方法对编辑的语义不可知,且在训练期间不需要标签或预定义概念。除图像组合外,我们的方法扩展到若干相关应用,如图像修复或基于示例的图像编辑,我们在多个 GAN 与数据集上进行了演示,并且由于仅使用单次前向传播,可实时运行。代码见于我们的项目页:https://chail.github.io/latent-composition/。
引用
@article{arxiv.2103.10426,
title = {Using latent space regression to analyze and leverage compositionality in GANs},
author = {Lucy Chai and Jonas Wulff and Phillip Isola},
journal= {arXiv preprint arXiv:2103.10426},
year = {2021}
}
备注
Update to ICLR 2021 camera ready version