基于生成先验的多模态人脸风格化
计算机视觉与模式识别
2023-09-26 v2
摘要
本工作中，我们提出一种人脸风格化新方法。尽管现有方法在该任务上取得了令人印象深刻的成果，但在生成具有多样风格且面部重建准确的高质量艺术人脸方面仍有改进空间。我们提出的框架MMFS通过利用StyleGAN的优势并将其集成到编码器-解码器架构中，支持多模态人脸风格化。具体而言，我们使用StyleGAN的中分辨率和高分辨率层作为解码器以生成高质量人脸，同时将其低分辨率层与编码器对齐以提取并保留输入面部细节。我们还引入了两阶段训练策略，其中第一阶段训练编码器以对齐特征图与StyleGAN，并实现输入人脸的忠实重建。第二阶段中，整个网络使用艺术数据微调以生成风格化人脸。为使微调后的模型可应用于零样本和单样本风格化任务，我们训练了一个从大规模Contrastive-Language-Image-Pre-training（CLIP）空间到微调StyleGAN的潜变量空间的额外映射网络。定性和定量实验表明，我们的框架在单样本和零样本人脸风格化任务上均取得了优越性能，大幅优于最先进方法。
引用
@article{arxiv.2305.18009,
title = {Multi-Modal Face Stylization with a Generative Prior},
author = {Mengtian Li and Yi Dong and Minxuan Lin and Haibin Huang and Pengfei Wan and Chongyang Ma},
journal= {arXiv preprint arXiv:2305.18009},
year = {2023}
}