ExFaceGAN：在 GAN 学习到的潜空间中探索身份方向以生成合成身份
计算机视觉与模式识别
2023-07-20 v2
摘要
深度生成模型近期在生成具有随机合成身份的逼真人脸图像方面取得了令人印象深刻的成果。为生成某一合成身份的多个样本，先前工作提出通过引入额外监督或正则化来解耦 GAN 的潜空间，以实现特定属性的操控。另一些工作提出在无条件预训练 GAN 的潜空间中解耦特定因子以控制其输出，这同样需要属性分类器的监督。此外，这些属性在 GAN 的潜空间中相互纠缠，使得在不影响身份信息的前提下操控它们十分困难。我们在本工作中提出一个框架 ExFaceGAN，用于在预训练 GAN 的潜空间中解耦身份信息，从而能够生成任意合成身份的多个样本。给定任意合成图像的参考潜码与预训练 GAN 的潜空间，我们的 ExFaceGAN 学习一个身份方向边界，将潜空间解耦为两个子空间，其中潜码所对应的样本要么与参考图像身份相似，要么不相似。通过从边界两侧采样，我们的 ExFaceGAN 可生成合成身份的多个样本，而无需设计专用架构或来自属性分类器的监督。我们通过将 ExFaceGAN 集成到三种 SOTA GAN 方法的学习潜空间中，证明了其泛化性与有效性。作为我们 ExFaceGAN 实际益处的示例，我们凭经验证明由 ExFaceGAN 生成的数据可成功用于训练人脸识别模型（\url{https://github.com/fdbtrs/ExFaceGAN}）。
引用
@article{arxiv.2307.05151,
title = {ExFaceGAN: Exploring Identity Directions in GAN's Learned Latent Space for Synthetic Identity Generation},
author = {Fadi Boutros and Marcel Klemt and Meiling Fang and Arjan Kuijper and Naser Damer},
journal= {arXiv preprint arXiv:2307.05151},
year = {2023}
}
备注
Accepted at IJCB 2023