中文

E2Style:提升 StyleGAN 反演的效率与效果

计算机视觉与模式识别 2022-05-11 v2 图形学

摘要

本文研究 StyleGAN 反演问题,其在使预训练 StyleGAN 用于真实图像编辑任务中起着关键作用。StyleGAN 反演的目标是找到给定图像在 StyleGAN 潜空间中的精确潜码。该问题对质量与效率均有较高要求。现有的基于优化的方法能产出高质量结果,但优化往往耗时较长。相反,基于前向的方法通常更快,但结果质量较差。本文提出一种新的用于 StyleGAN 反演的前馈网络“E2Style”,在效率与效果上有显著改进。在我们的反演网络中,我们引入:1)具有跨尺度多个高效头的更浅骨干;2)损失函数中的多层身份损失与多层人脸解析损失;3)多阶段精炼。这些设计结合形成了一种有效且高效的方法,兼具基于优化与基于前向方法的优点。定量与定性结果表明,我们的 E2Style 优于现有基于前向的方法,并与最先进的基于优化的方法相当,同时保持了与基于前向方法一样的高效率。此外,若干真实图像编辑应用展示了我们 E2Style 的功效。代码见 \url{https://github.com/wty-ustc/e2style}

关键词

引用

@article{arxiv.2104.07661,
  title  = {E2Style: Improve the Efficiency and Effectiveness of StyleGAN Inversion},
  author = {Tianyi Wei and Dongdong Chen and Wenbo Zhou and Jing Liao and Weiming Zhang and Lu Yuan and Gang Hua and Nenghai Yu},
  journal= {arXiv preprint arXiv:2104.07661},
  year   = {2022}
}

备注

To Appear at TIP 2022