GAN 中的低秩子空间
计算机视觉与模式识别
2021-12-01 v2
摘要
生成对抗网络(GAN)的潜空间已被证明在某些子空间内编码了丰富的语义。为识别这些子空间,研究者通常从合成数据的集合中分析统计信息,且所识别的子空间往往全局地控制图像属性(即操纵某一属性会导致整幅图像发生变化)。相比之下,本文引入了能够实现更精确 GAN 生成控制的低秩子空间。具体而言,给定任意图像和感兴趣区域(如人脸图像的眼睛),我们通过雅可比矩阵将潜空间与图像区域相关联,随后利用低秩分解发现可操控的潜子空间。我们的方法具有三个显著优势,可恰当地称为 LowRankGAN。首先,与已有工作中的解析算法相比,我们对雅可比矩阵的低秩分解能够找到属性流形的低维表示,使图像编辑更加精确和可控。其次,低秩分解自然产生属性的零空间,使得在其中移动潜码仅影响感兴趣区域的外部。因此,局部图像编辑可通过将属性向量投影到零空间中简单实现,而无需像现有方法那样依赖空间掩码。第三,我们的方法能够稳健地利用单幅图像的局部区域进行分析,同时很好地泛化到其他图像,使其在实践中更易于使用。在多个数据集上训练的最先进 GAN 模型(包括 StyleGAN2 和 BigGAN)上的大量实验证明了我们的 LowRankGAN 的有效性。
引用
@article{arxiv.2106.04488,
title = {Low-Rank Subspaces in GANs},
author = {Jiapeng Zhu and Ruili Feng and Yujun Shen and Deli Zhao and Zhengjun Zha and Jingren Zhou and Qifeng Chen},
journal= {arXiv preprint arXiv:2106.04488},
year = {2021}
}