中文

HyperInverter:通过超网络改进 StyleGAN 反演

计算机视觉与模式识别 2022-04-05 v2

摘要

近年来,由于对 GAN 潜空间的探索与利用,真实图像编辑取得了惊人进展。GAN 反演是该流程的第一步,旨在将真实图像忠实地映射到潜码。遗憾的是,现有多数 GAN 反演方法无法满足以下三项要求中的至少一项:高重建质量、可编辑性与快速推理。本研究提出一种新颖的两阶段策略,可同时满足所有要求。第一阶段,我们训练一个编码器将输入图像映射到 StyleGAN2 的 W\mathcal{W} 空间,该空间已被证明具有极佳可编辑性但重建质量较低。第二阶段,我们利用一系列超网络来恢复反演过程中丢失的信息,从而补充初始阶段的重建能力。这两步相互补充,得益于超网络分支而获得高重建质量,并因在 W\mathcal{W} 空间中完成反演而具备优异可编辑性。我们的方法完全基于编码器,因而推理极快。在两个具挑战性数据集上的大量实验证明了本方法的优越性。

关键词

引用

@article{arxiv.2112.00719,
  title  = {HyperInverter: Improving StyleGAN Inversion via Hypernetwork},
  author = {Tan M. Dinh and Anh Tuan Tran and Rang Nguyen and Binh-Son Hua},
  journal= {arXiv preprint arXiv:2112.00719},
  year   = {2022}
}

备注

Accepted to CVPR 2022; Project page is located at https://di-mi-ta.github.io/HyperInverter/