SD-GAN：基于语义分解的离散属性人脸图像合成
计算机视觉与模式识别
2022-07-13 v1
摘要
在生成对抗网络（GAN）中操纵潜码进行人脸图像合成主要关注连续属性合成（如年龄、姿态和表情），而离散属性合成（如口罩和眼镜）较少受到关注。直接将现有工作应用于人脸离散属性可能导致不准确结果。本工作中，我们提出一种通过语义分解处理困难人脸离散属性合成的创新框架，称为 SD-GAN。具体而言，我们将离散属性表示显式分解为两个分量，即语义先验基与偏移潜表示。语义先验基展示了在潜空间中操纵人脸表示的初始化方向。所提出的通过 3D 感知语义融合网络获得的偏移潜表示用于调整先验基。此外，该融合网络集成 3D 嵌入以更好地保持身份并进行离散属性合成。先验基与偏移潜表示的结合使我们的方法能够合成具离散属性的照片级真实人脸图像。值得注意的是，我们构建了大规模且有价值的数据集 MEGN（从 Google 和 Naver 爬取的口罩与眼镜图像），以弥补现有数据集中离散属性的缺失。大量定性与定量实验证明了我们方法的最先进性能。我们的代码可在：https://github.com/MontaEllis/SD-GAN 获取。
引用
@article{arxiv.2207.05300,
title = {SD-GAN: Semantic Decomposition for Face Image Synthesis with Discrete Attribute},
author = {Zhou Kangneng and Zhu Xiaobin and Gao Daiheng and Lee Kai and Li Xinjie and Yin Xu-Cheng},
journal= {arXiv preprint arXiv:2207.05300},
year = {2022}
}
备注
16 pages, 12 figures, Accepted by ACM MM2022