用于改进重建与可编辑性的 StyleGAN 编码器的循环编码
计算机视觉与模式识别
2022-07-20 v1
摘要
GAN 反演旨在将输入图像反演至预训练 GAN 的潜空间。尽管 GAN 反演近期取得进展，仍面临缓解失真与可编辑性间权衡的挑战，即准确重建输入图像并以较小视觉质量下降编辑反演图像。新近提出的 pivotal tuning 模型通过两步法在重建与可编辑性上取得显著进展：先将输入图像反演为称为 pivot code 的潜码，再改动生成器使输入图像可准确映射至该 pivot code。此处我们表明，通过恰当设计 pivot code 可同时改进重建与可编辑性。我们提出一种简洁而有效的方法，名为 cycle encoding，用于高质量 pivot code。我们方法的核心思想是根据 W->W+->W 的循环方案在变化空间中渐进训练编码器。该训练方法保留了 W 与 W+ 空间的性质，即 W 的高可编辑性与 W+ 的低失真。为进一步降低失真，我们还提出以基于优化的方法精炼 pivot code，其中引入正则项以减少可编辑性退化。与若干 SOTA 方法的定性与定量比较证明了我们方法的优越性。
引用
@article{arxiv.2207.09367,
title = {Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability},
author = {Xudong Mao and Liujuan Cao and Aurele T. Gnanha and Zhenguo Yang and Qing Li and Rongrong Ji},
journal= {arXiv preprint arXiv:2207.09367},
year = {2022}
}