BlendGAN:用于任意风格化人脸生成的隐式 GAN 混合
计算机视觉与模式识别
2021-10-25 v1
摘要
生成对抗网络(GANs)在高保真图像合成与风格化人脸生成方面取得了巨大飞跃。近来,一种层交换机制被提出以改善风格化性能。然而,该方法无法在单一模型中拟合任意风格,且每种风格都需要数百张风格一致的训练图像。为解决上述问题,我们提出 BlendGAN,通过采用灵活的混合策略与通用艺术数据集来实现任意风格化人脸生成。具体而言,我们首先在通用艺术数据集上训练一个自监督风格编码器以提取任意风格的表示。此外,提出一个加权混合模块(WBM)来隐式混合人脸与风格表示,并控制任意风格化效果。由此,BlendGAN 可在统一模型中优雅地拟合任意风格,同时避免逐案准备风格一致训练图像。为此,我们还提出一个新的大规模艺术人脸数据集 AAHQ。大量实验表明,在潜空间引导与参考引导的风格化人脸合成中,BlendGAN 在视觉质量与风格多样性上均优于当前最优(state-of-the-art)方法。
引用
@article{arxiv.2110.11728,
title = {BlendGAN: Implicitly GAN Blending for Arbitrary Stylized Face Generation},
author = {Mingcong Liu and Qiang Li and Zekui Qin and Guoxin Zhang and Pengfei Wan and Wen Zheng},
journal= {arXiv preprint arXiv:2110.11728},
year = {2021}
}