发现用于语义图像合成的类特定 GAN 控制
计算机视觉与模式识别
2022-12-06 v1
摘要
先前的工作已广泛研究用于无条件图像合成的 GAN 的潜空间结构，通过无监督发现可解释的潜方向实现对生成图像的全局编辑。然而，用于语义图像合成（SIS）的条件 GAN 的潜方向发现仍未被探索。在本工作中，我们专门致力于弥补这一空白。我们提出一种新颖的优化方法，用于在预训练 SIS 模型的潜空间中寻找空间解耦的类特定方向。我们表明，我们的方法发现的潜方向能够有效控制语义类的局部外观，例如独立地改变它们的内部结构、纹理或颜色。在各种数据集上对发现的 GAN 控制进行的视觉检查和定量评估表明，我们的方法发现了一组多样且独特的、具有语义意义的类特定编辑潜方向。
引用
@article{arxiv.2212.01455,
title = {Discovering Class-Specific GAN Controls for Semantic Image Synthesis},
author = {Edgar Schönfeld and Julio Borges and Vadim Sushko and Bernt Schiele and Anna Khoreva},
journal= {arXiv preprint arXiv:2212.01455},
year = {2022}
}