基于掩码 GAN 隐码优化的高分辨率人脸编辑
计算机视觉与模式识别
2023-02-07 v3
摘要
人脸编辑是计算机视觉与图像处理领域的热门研究课题。尽管近期该领域已取得显著进展，现有方案仍存在以下不足：(i) 仍主要聚焦于低分辨率图像，(ii) 常生成带有视觉伪影的编辑结果，或 (iii) 缺乏细粒度控制，并在试图生成所需面部语义时一次性改变多个（纠缠的）属性。本文中，我们旨在通过一种称为 MaskFaceGAN 的新型属性编辑方法来解决这些问题，该方法专注于局部属性编辑。所提方法基于一种优化过程，直接针对预训练（最先进）生成对抗网络（即 StyleGAN2）的隐码，依据若干约束进行优化，这些约束确保：(i) 保留相关图像内容，(ii) 生成目标面部属性，以及 (iii) 对局部图像区域进行空间选择性处理。这些约束借助（可微分的）属性分类器与人脸解析器来实施，它们为优化过程提供必要的参考信息。MaskFaceGAN 在 CelebA-HQ、Helen 与 SiblingsDB-HQf 数据集上进行了大量实验评估，并与文献中若干最先进技术（即 StarGAN、AttGAN、STGAN 及两个版本的 InterFaceGAN）进行比较。实验结果表明，所提方法能够以空前的图像质量在高分辨率（1024x1024）下针对若干局部面部属性编辑人脸图像，同时相较竞争方案显著减轻了属性纠缠问题。源代码可从 https://github.com/MartinPernus/MaskFaceGAN 免费获取。
引用
@article{arxiv.2103.11135,
title = {High Resolution Face Editing with Masked GAN Latent Code Optimization},
author = {Martin Pernuš and Vitomir Štruc and Simon Dobrišek},
journal= {arXiv preprint arXiv:2103.11135},
year = {2023}
}
备注
Final ArXiv version. The paper has been accepted for publication in IEEE Transactions on Image Processing journal and will be published in 2023