中文

StyleGAN 中用于细粒度图像操控的属性特定控制单元

计算机视觉与模式识别 2021-11-29 v1

摘要

近年来,使用 StyleGAN 进行图像操控日益受到关注。近期工作已在分析多个语义隐空间以编辑生成图像的属性方面取得了巨大成功。然而,由于这些隐空间中语义和空间操控精度的限制,现有方法在细粒度 StyleGAN 图像操控(即局部属性转换)方面存在不足。为解决这一问题,我们发现了属性特定控制单元,它由特征图的多个通道和调制风格组成。具体而言,我们协同操控控制单元中的调制风格通道和特征图,而非单独操控,以获得语义和空间解耦的控制。此外,我们提出了一种简单而有效的方法来检测属性特定控制单元。我们沿特定稀疏方向向量移动调制风格,并替换用于计算特征图的滤波器级风格,以操控这些控制单元。我们在各种人脸属性操控任务中评估了所提出的方法。大量的定性和定量结果表明,我们提出的方法优于当前最先进的方法。在真实图像上的操控结果进一步证明了我们方法的有效性。

关键词

引用

@article{arxiv.2111.13010,
  title  = {Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation},
  author = {Rui Wang and Jian Chen and Gang Yu and Li Sun and Changqian Yu and Changxin Gao and Nong Sang},
  journal= {arXiv preprint arXiv:2111.13010},
  year   = {2021}
}

备注

ACM MultiMedia 2021.Project: https://wrong.wang/x/Control-Units-in-StyleGAN2/