GANalyzer：面向可控人脸合成的 GAN 潜空间分析与操控
计算机视觉与模式识别
2023-02-03 v1 机器学习
摘要
生成对抗网络（GANs）能够合成高质量的人脸图像。尽管取得了成功，GANs 并未提供关于输入向量与生成图像之间关系的任何信息。目前，人脸 GANs 在不平衡数据集上训练，生成的图片多样性较低。例如，我们使用 StyleGAN3 随机合成的 100K 张图像中，超过 77% 被分类为开心（Happy），仅约 3% 为生气（Angry）。当期望混合人脸属性时，问题更为严重：生成的样本中不到 1% 是生气的女性（Angry Woman），仅约 2% 是开心的黑人（Happy Black）。为解决这些问题，本文提出一个名为 GANalyzer 的框架，用于分析和操控训练良好的 GANs 的潜空间。GANalyzer 由一组变换函数组成，旨在针对特定人脸属性（如面部表情、年龄、性别和种族）操控潜向量。我们分析了 GANs 潜空间中人脸属性的纠缠现象，并应用所提出的变换来编辑解纠缠的人脸属性。实验结果表明了 GANalyzer 在编辑人脸属性和生成任意期望人脸方面的能力。我们还创建并发布了一个平衡的真实感人脸数据集。我们的代码已在 GitHub 上公开。
引用
@article{arxiv.2302.00908,
title = {GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis},
author = {Ali Pourramezan Fard and Mohammad H. Mahoor and Sarah Ariel Lamer and Timothy Sweeny},
journal= {arXiv preprint arXiv:2302.00908},
year = {2023}
}