为 StyleGAN 图像编辑设计编码器
计算机视觉与模式识别
2021-02-05 v1
摘要
近来，利用预训练的无条件生成器进行图像编辑的多样化方法激增。然而，将这些方法应用于真实图像仍具挑战，因为这必然需要将图像反演至其潜空间。要成功反演真实图像，需找到一个能准确重建输入图像的潜码，且更重要的是，允许对其进行有意义的操控。本文仔细研究了最先进的无条件生成器 StyleGAN 的潜空间。我们识别并分析了 StyleGAN 潜空间内存在的失真-可编辑性权衡与失真-感知权衡。随后，我们提出设计编码器的两条原则，以可控方式使反演结果接近 StyleGAN 原始训练区域。我们基于这两条原则提出了一种专为促进真实图像编辑而设计的编码器，通过平衡这些权衡来实现。在包括汽车与马在内的众多具挑战性领域进行定性与定量评估，表明我们的反演方法结合常见编辑技术，以仅微小的重建精度损失实现了卓越的真实图像编辑质量。
引用
@article{arxiv.2102.02766,
title = {Designing an Encoder for StyleGAN Image Manipulation},
author = {Omer Tov and Yuval Alaluf and Yotam Nitzan and Or Patashnik and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2102.02766},
year = {2021}
}