变换 StyleGAN 的潜空间用于真实人脸编辑
计算机视觉与模式识别
2022-07-22 v2
摘要
尽管近期使用 StyleGAN 进行语义操控取得了进展，真实人脸的语义编辑仍具挑战性。 空间与 + 空间之间的差距要求在重建质量与编辑质量之间做出不利的权衡。为解决该问题，我们提出通过用基于注意力的 transformers 替换 StyleGAN 映射网络中的全连接层来扩展潜空间。这一简单而有效的技术将前述两个空间整合，并将其变换为一个称为 ++ 的新潜空间。我们修改后的 StyleGAN 保持了原始 StyleGAN 的顶尖生成质量，且多样性略有提升。但更重要的是，所提出的 ++ 空间在重建质量与编辑质量上均实现了优越性能。尽管具有这些显著优势，由于我们的 ++ 空间与 + 空间结构相似，其仅需极小修改即可支持现有的反演算法与编辑方法。在 FFHQ 数据集上的大量实验证明，对于真实人脸编辑，我们提出的 ++ 空间明显优于先前的 + 空间。代码已公开供研究使用：https://github.com/AnonSubm2021/TransStyleGAN。
引用
@article{arxiv.2105.14230,
title = {Transforming the Latent Space of StyleGAN for Real Face Editing},
author = {Heyi Li and Jinlong Liu and Xinyu Zhang and Yunzhi Bai and Huayan Wang and Klaus Mueller},
journal= {arXiv preprint arXiv:2105.14230},
year = {2022}
}
备注
28 pages, 15 figures